【免费下载链接】Spark-X2.5-4B-INT8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.5-4B-INT8点击查看免费下载Spark-X2.5-4B-INT8 是一款 4B 级别的开源小模型INT8 量化版主打工具调用Tool Calling与 Agent 工作流能力。本文带你用 SGLang 的spark25解析器在 3 步内完成部署并跑通一个真正的 Agent 工作流——从启动推理服务到让模型自主决定调用哪个工具、传什么参数全程无需编写复杂代码。为什么选 Spark-X2.5-4B-INT8 做 Agent对新手来说跑一个 4B 小模型做 Agent 的核心顾虑是显存够不够、长任务会不会崩、工具调用准不准。这个 checkpoint 在这三点上都给了答案INT8 量化小显存可跑模型采用 W8A8 的 compressed-tensors 量化权重量化 激活动态量化详见 config.json单卡即可部署。原生 1M 上下文config.json 中max_position_embeddings为1048576多轮工具调用累积的长历史不会失忆。混合注意力架构36 层中按3 层滑动窗口 1 层全注意力交替排布见 config.json 的layer_types在长上下文下显著降低 KV-Cache 开销多轮 Agent 对话更省钱。工具调用成绩能打官方基准中 BFCL-V4 得分 65.1、MCP-Atlas 54.6、τ³-bench 30.4在同量级开源模型中领先完整榜单见 README.md 的 Benchmarks 部分。一键启动 SGLang 服务spark25 解析器最关键部署推荐官方给出的 SGLang 方案其中--tool-call-parser spark25是整篇文章的主角——它告诉 SGLang 按 Spark-X2.5 的专属格式解析模型输出中的工具调用缺了它tool_calls字段很可能解析不出来。准备环境与镜像先把模型路径设为环境变量把路径改成你自己的实际位置export MODEL_PATH/absolute/path/to/Spark-X2.5-4B-INT8 docker pull lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1 如果你用的是华为昇腾 NPU 而非 NVIDIA GPUREADME 提供了对应的quay.io/ascend/sglang镜像启动参数完全一致仅镜像名不同。最快配置方法一条命令拉起服务docker run --rm -it \ --gpus device0 \ --ipchost \ -p 30000:30000 \ -v $MODEL_PATH:/root/Spark-X2.5-4B:ro \ lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1 \ python -m sglang.launch_server \ --model-path /root/Spark-X2.5-4B \ --served-model-name spark2.5 \ --tool-call-parser spark25 \ --reasoning-parser qwen3 \ --tp-size 1 \ --mem-fraction-static 0.8 \ --context-length 1048576 \ --chat-template /root/Spark-X2.5-4B/chat_template.jinja \ --host 0.0.0.0 \ --port 30000服务启动后SGLang 在30000端口暴露OpenAI 兼容 API你熟悉的 OpenAI SDK、curl 都能直接对接。几个关键参数解释参数作用新手提示--tool-call-parser spark25启用 Spark-X2.5 专属工具调用解析器⭐ 必须本教程核心--reasoning-parser qwen3解析think推理内容与思考模式配套配合下面关闭思考使用--chat-template指向仓库内的 chat_template.jinja该模板定义了工具注入格式与tool角色渲染--context-length 10485761M 上下文显存不足时改为32768、65536等--mem-fraction-static 0.8显存静态占比显存紧张可降到0.7--served-model-name spark2.5请求时使用的模型名请求里要填这个名字工具调用实战定义工具并让模型发起调用模型如何知道有哪些工具看 chat_template.jinja 就能明白请求里传入的tools会被渲染进 system 块的## Tools区域模型据此决定何时调用。也就是说工具定义完全走 OpenAI 标准格式零学习成本。发起一次带工具的真实请求假设我们给 Agent 配了一个查天气工具用 curl 直接打到/v1/chat/completionscurl -s http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: spark2.5, messages: [ {role: user, content: 北京今天适合跑步吗} ], tools: [ { type: function, function: { name: get_weather, description: 查询指定城市的实时天气, parameters: { type: object, properties: { city: {type: string, description: 城市名} }, required: [city] } } } ], temperature: 1.0, top_p: 0.95, top_k: -1, max_tokens: 4096 }读懂响应中的 tool_callsspark25解析器工作正常时响应会像 OpenAI 一样结构化返回{ choices: [{ message: { role: assistant, reasoning_content: 用户想知道北京天气是否适合跑步需要先查天气……, tool_calls: [ { type: function, function: { name: get_weather, arguments: {city: 北京} } } ] } }] }三个细节值得注意arguments已是解析好的对象/JSON可直接交给你的工具函数执行reasoning_content是think思考内容由--reasoning-parser qwen3分离出来不会混进正文若模型认为不需要工具则直接返回content文本没有tool_calls。构建 Agent 工作流最小循环只需 4 步Agent 工作流的本质是一个模型决策 → 执行工具 → 结果回填 → 继续决策的循环。用伪代码表达发请求用户问题 tools定义发给/v1/chat/completions判断响应含tool_calls→ 执行第 3 步否则→ 直接把content回复用户结束执行工具调用你自己的函数如get_weather(北京)拿到结果回填再发把 assistant 的tool_calls消息 一条role: tool的结果消息追加进messages再次请求直到模型给出最终答复。回填时tool消息的格式为{role: tool, tool_call_id: ..., content: 晴28℃风力3级}。chat_template.jinja 会把这些工具结果渲染成模型熟悉的tool_response块连续多条 tool 消息还能自动合并保证多工具并行调用的历史不乱序。✅ 得益于 1M 原生上下文即使循环执行了几十轮、历史非常长也不需要自己截断压缩对话——当然控制长度仍是好习惯。进阶调优思考模式开关与采样参数如何关闭思考以提速思考模式thinking默认开启适合需要推理的复杂 Agent 任务简单的格式化、查表类任务建议关闭以省 token。按 README.md 的说明在单个请求中加chat_template_kwargs: {enable_thinking: false}对应 chat_template.jinja 中add_generation_prompt的逻辑开启思考时模板会输出think开头关闭时直接输出空的think结束标记。官方推荐采样参数工具调用对格式稳定性敏感建议直接使用官方推荐值见 generation_config.jsontemperature 1.0top_p 0.95top_k -1不启用常见问题排查清单 现象可能原因与处理响应里没有tool_calls检查是否加了--tool-call-parser spark25工具description写得是否清晰arguments不是合法 JSON升级 SGLang 镜像确认请求里tools格式符合 OpenAI 规范显存 OOM调低--context-length如65536与--mem-fraction-static如0.7模型不思考了/思考乱码检查--reasoning-parser qwen3是否与--chat-template配套传入端口连不上确认-p 30000:30000与--port 30000一致且请求里model填spark2.5总结核心三件套--tool-call-parser spark25--reasoning-parser qwen3 仓库自带的 chat_template.jinja缺一都会影响工具调用或思考解析。工作流极简Agent 循环 请求 → 解析tool_calls→ 执行工具 →tool消息回填 → 再请求。工程红利INT8 量化 混合注意力 1M 上下文让这个小模型既能塞进单卡又能扛住长会话的 Agent 任务。想继续深入可以看 modeling_spark.py 与 configuration_spark.py 中的模型结构定义以及 README.md 里的 vLLM、Ollama 等更多部署方案。赞分享【免费下载链接】Spark-X2.5-4B-INT8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.5-4B-INT8点击查看免费下载相关推荐华为昇腾NPU部署Spark-X2.5-4B-INT8完整教程SGLang与vLLM双路径实战华为昇腾NPU部署Spark X2.5 4B INT8完整教程SGLang与vLLM双路径实战 本文是 华为昇腾NPU部署 Spark X2.5 4B INT微调你的专属行业模型LLaMA-Factory微调Spark-X2.5-4B-INT8实战教程微调你的专属行业模型LLaMA Factory微调Spark X2.5 4B INT8实战教程 想用 LLaMA Factory 微调 Spark X2.5如何给 Sharp-Spark-X2.5-4B-GGUF 装上工具调用llama.cpp --jinja 实战指南如何给 Sharp Spark X2.5 4B GGUF 装上工具调用llama.cpp jinja 实战指南 Sharp Spark X2.5 4B GGU上一篇PushDeer自架版部署一步步教你搭建私有推送服务器 下一篇Laf 云开发平台上手指南不配服务器云函数、云数据库、云存储开箱即用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】Spark-X2.5-4B-INT8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.5-4B-INT8点击查看免费下载Spark-X2.5-4B-INT8 是一款 4B 级别的开源小模型INT8 量化版主打工具调用Tool Calling与 Agent 工作流能力。本文带你用 SGLang 的spark25解析器在 3 步内完成部署并跑通一个真正的 Agent 工作流——从启动推理服务到让模型自主决定调用哪个工具、传什么参数全程无需编写复杂代码。为什么选 Spark-X2.5-4B-INT8 做 Agent对新手来说跑一个 4B 小模型做 Agent 的核心顾虑是显存够不够、长任务会不会崩、工具调用准不准。这个 checkpoint 在这三点上都给了答案INT8 量化小显存可跑模型采用 W8A8 的 compressed-tensors 量化权重量化 激活动态量化详见 config.json单卡即可部署。原生 1M 上下文config.json 中max_position_embeddings为1048576多轮工具调用累积的长历史不会失忆。混合注意力架构36 层中按3 层滑动窗口 1 层全注意力交替排布见 config.json 的layer_types在长上下文下显著降低 KV-Cache 开销多轮 Agent 对话更省钱。工具调用成绩能打官方基准中 BFCL-V4 得分 65.1、MCP-Atlas 54.6、τ³-bench 30.4在同量级开源模型中领先完整榜单见 README.md 的 Benchmarks 部分。一键启动 SGLang 服务spark25 解析器最关键部署推荐官方给出的 SGLang 方案其中--tool-call-parser spark25是整篇文章的主角——它告诉 SGLang 按 Spark-X2.5 的专属格式解析模型输出中的工具调用缺了它tool_calls字段很可能解析不出来。准备环境与镜像先把模型路径设为环境变量把路径改成你自己的实际位置export MODEL_PATH/absolute/path/to/Spark-X2.5-4B-INT8 docker pull lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1 如果你用的是华为昇腾 NPU 而非 NVIDIA GPUREADME 提供了对应的quay.io/ascend/sglang镜像启动参数完全一致仅镜像名不同。最快配置方法一条命令拉起服务docker run --rm -it \ --gpus device0 \ --ipchost \ -p 30000:30000 \ -v $MODEL_PATH:/root/Spark-X2.5-4B:ro \ lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1 \ python -m sglang.launch_server \ --model-path /root/Spark-X2.5-4B \ --served-model-name spark2.5 \ --tool-call-parser spark25 \ --reasoning-parser qwen3 \ --tp-size 1 \ --mem-fraction-static 0.8 \ --context-length 1048576 \ --chat-template /root/Spark-X2.5-4B/chat_template.jinja \ --host 0.0.0.0 \ --port 30000服务启动后SGLang 在30000端口暴露OpenAI 兼容 API你熟悉的 OpenAI SDK、curl 都能直接对接。几个关键参数解释参数作用新手提示--tool-call-parser spark25启用 Spark-X2.5 专属工具调用解析器⭐ 必须本教程核心--reasoning-parser qwen3解析think推理内容与思考模式配套配合下面关闭思考使用--chat-template指向仓库内的 chat_template.jinja该模板定义了工具注入格式与tool角色渲染--context-length 10485761M 上下文显存不足时改为32768、65536等--mem-fraction-static 0.8显存静态占比显存紧张可降到0.7--served-model-name spark2.5请求时使用的模型名请求里要填这个名字工具调用实战定义工具并让模型发起调用模型如何知道有哪些工具看 chat_template.jinja 就能明白请求里传入的tools会被渲染进 system 块的## Tools区域模型据此决定何时调用。也就是说工具定义完全走 OpenAI 标准格式零学习成本。发起一次带工具的真实请求假设我们给 Agent 配了一个查天气工具用 curl 直接打到/v1/chat/completionscurl -s http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: spark2.5, messages: [ {role: user, content: 北京今天适合跑步吗} ], tools: [ { type: function, function: { name: get_weather, description: 查询指定城市的实时天气, parameters: { type: object, properties: { city: {type: string, description: 城市名} }, required: [city] } } } ], temperature: 1.0, top_p: 0.95, top_k: -1, max_tokens: 4096 }读懂响应中的 tool_callsspark25解析器工作正常时响应会像 OpenAI 一样结构化返回{ choices: [{ message: { role: assistant, reasoning_content: 用户想知道北京天气是否适合跑步需要先查天气……, tool_calls: [ { type: function, function: { name: get_weather, arguments: {city: 北京} } } ] } }] }三个细节值得注意arguments已是解析好的对象/JSON可直接交给你的工具函数执行reasoning_content是think思考内容由--reasoning-parser qwen3分离出来不会混进正文若模型认为不需要工具则直接返回content文本没有tool_calls。构建 Agent 工作流最小循环只需 4 步Agent 工作流的本质是一个模型决策 → 执行工具 → 结果回填 → 继续决策的循环。用伪代码表达发请求用户问题 tools定义发给/v1/chat/completions判断响应含tool_calls→ 执行第 3 步否则→ 直接把content回复用户结束执行工具调用你自己的函数如get_weather(北京)拿到结果回填再发把 assistant 的tool_calls消息 一条role: tool的结果消息追加进messages再次请求直到模型给出最终答复。回填时tool消息的格式为{role: tool, tool_call_id: ..., content: 晴28℃风力3级}。chat_template.jinja 会把这些工具结果渲染成模型熟悉的tool_response块连续多条 tool 消息还能自动合并保证多工具并行调用的历史不乱序。✅ 得益于 1M 原生上下文即使循环执行了几十轮、历史非常长也不需要自己截断压缩对话——当然控制长度仍是好习惯。进阶调优思考模式开关与采样参数如何关闭思考以提速思考模式thinking默认开启适合需要推理的复杂 Agent 任务简单的格式化、查表类任务建议关闭以省 token。按 README.md 的说明在单个请求中加chat_template_kwargs: {enable_thinking: false}对应 chat_template.jinja 中add_generation_prompt的逻辑开启思考时模板会输出think开头关闭时直接输出空的think结束标记。官方推荐采样参数工具调用对格式稳定性敏感建议直接使用官方推荐值见 generation_config.jsontemperature 1.0top_p 0.95top_k -1不启用常见问题排查清单 现象可能原因与处理响应里没有tool_calls检查是否加了--tool-call-parser spark25工具description写得是否清晰arguments不是合法 JSON升级 SGLang 镜像确认请求里tools格式符合 OpenAI 规范显存 OOM调低--context-length如65536与--mem-fraction-static如0.7模型不思考了/思考乱码检查--reasoning-parser qwen3是否与--chat-template配套传入端口连不上确认-p 30000:30000与--port 30000一致且请求里model填spark2.5总结核心三件套--tool-call-parser spark25--reasoning-parser qwen3 仓库自带的 chat_template.jinja缺一都会影响工具调用或思考解析。工作流极简Agent 循环 请求 → 解析tool_calls→ 执行工具 →tool消息回填 → 再请求。工程红利INT8 量化 混合注意力 1M 上下文让这个小模型既能塞进单卡又能扛住长会话的 Agent 任务。想继续深入可以看 modeling_spark.py 与 configuration_spark.py 中的模型结构定义以及 README.md 里的 vLLM、Ollama 等更多部署方案。赞分享【免费下载链接】Spark-X2.5-4B-INT8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.5-4B-INT8点击查看免费下载相关推荐华为昇腾NPU部署Spark-X2.5-4B-INT8完整教程SGLang与vLLM双路径实战华为昇腾NPU部署Spark X2.5 4B INT8完整教程SGLang与vLLM双路径实战 本文是 华为昇腾NPU部署 Spark X2.5 4B INT微调你的专属行业模型LLaMA-Factory微调Spark-X2.5-4B-INT8实战教程微调你的专属行业模型LLaMA Factory微调Spark X2.5 4B INT8实战教程 想用 LLaMA Factory 微调 Spark X2.5如何给 Sharp-Spark-X2.5-4B-GGUF 装上工具调用llama.cpp --jinja 实战指南如何给 Sharp Spark X2.5 4B GGUF 装上工具调用llama.cpp jinja 实战指南 Sharp Spark X2.5 4B GGU上一篇PushDeer自架版部署一步步教你搭建私有推送服务器 下一篇Laf 云开发平台上手指南不配服务器云函数、云数据库、云存储开箱即用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
