5分钟跑通 Intern-S2-397BLMDeploy/vLLM/SGLang 三选一部署手册上海AI实验室开源的 Intern-S2-397B 把科学智能体从口号变成了可以本地自托管的现实397B 参数的 MoE 多模态模型、原生 256K 上下文、Apache-2.0 许可官方同时给出 LMDeploy、vLLM、SGLang 三条部署路径。对工程团队来说真正的门槛不在于能不能跑而在于选哪条路、参数怎么给、验证怎么做。本文直接基于仓库内的 deployment_guide.md 与 README.md 源码级命令给出显存预算、三框架启动参数、OpenAI 兼容验证的完整闭环——如果权重已就位一条命令起服务5 分钟内就能拿到第一个 token。开跑之前先算清显存账再选依赖版本Intern-S2-397B 的架构写在 config.json 里Qwen3_5MoeForConditionalGeneration60 层 transformer其中大部分层是线性注意力linear_attention每隔 3 层插入一个全注意力层full_attentionMoE 部分配置了 512 个专家、每 token 激活 10 个num_experts: 512, num_experts_per_tok: 10并带 1 层 MTPmtp_num_hidden_layers: 1用于推测解码。这种线性注意力 MoE 混合专家路由的组合意味着虽然名义参数 397B但单次前向实际激活的参数远小于这个数字这正是在 8 卡节点上能跑起来的前提。权重规模可以从 model.safetensors.index.json 直接读出total_size为 806,846,206,816 字节即 BF16 全量约 807GB对应 188 个分片。部署指南的默认做法是拉取 FP8 版本权重internlm/Intern-S2-FP8体积近似减半配合 8×H100/H20080GB × 8 640GB 显存即可完整放下模型与 KV cache这也是 deployment_guide.md 原文推荐的节点配置。依赖版本与采样参数是两个最容易踩坑的点三框架的最低版本LMDeploy ≥ 0.14.0、vLLM ≥ 0.22.1、SGLang ≥ 0.5.13见 deployment_guide.md 各节标题采样参数README 建议top_p0.95, top_k50, min_p0.0, temperature0.8注意这与 generation_config.json 里的默认值temperature 0.6、top_k 20不同官方明确推荐前者以获得更稳定的输出全部命令都要带--trust-remote-code因为分词器是自定义实现InternS1Tokenizer见 tokenization_interns1.py。三条路并行三框架逐条跑通三个框架都能完成基础服务 / MTP 推测解码 / 长上下文三种形态差异在参数写法与能力边界上。路线一LMDeploy——唯一带时序能力的选手LMDeploy 的基础服务分两步先起一个 proxy server再起 api_server通过--proxy-url串联。核心参数是--dp 4 --ep 8数据并行 × 专家并行与--tool-call-parser interns2-previewlmdeploy serve proxy --server-name ${proxy_server_ip} --server-port ${proxy_server_port} lmdeploy serve api_server \ internlm/Intern-S2-FP8 \ --model-name internlm/Intern-S2-397B \ --trust-remote-code \ --backend pytorch \ --dp 4 \ --ep 8 \ --enable-prefix-caching \ --proxy-url http://${proxy_server_ip}:${proxy_server_port} \ --reasoning-parser default \ --tool-call-parser interns2-preview开启 MTP 推测解码只需追加两个参数配置的是qwen3_5_mtp算法、4 个草稿 token--speculative-algorithm qwen3_5_mtp \ --speculative-num-draft-tokens 4 \ --max-batch-size 256LMDeploy 的差异化能力在时序推理。README.md 写得很明确time series inference is currently only supported in LMDeploy——地震波检测、电力负荷预测这类任务目前只有 LMDeploy 一条路这一点直接影响选型后文专门展开。路线二vLLM——生态最广的高吞吐选择vLLM 侧首先要处理三个环境变量跳过 DeepGEMM 预热、关闭 DeepGEMM、将 FlashInfer 的 MoE 后端切到latency模式这是官方给出的兼容性配置export VLLM_DEEP_GEMM_WARMUPskip export VLLM_USE_DEEP_GEMM0 export VLLM_FLASHINFER_MOE_BACKENDlatency vllm serve internlm/Intern-S2-FP8 \ --served-model-name internlm/Intern-S2-397B \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ --mm-encoder-tp-mode datavLLM 的 MTP 走的是--speculative-configmethod: mtp, num_speculative_tokens: 3与 LMDeploy 的独立参数风格不同长上下文侧 vLLM 可以推到 1,010,000 长度见下文进阶部分。工具调用这里用的是qwen3_coder解析器与 LMDeploy 的interns2-preview区分开。路线三SGLang——MTP 加速的社区实测SGLang 基础服务一行命令--mem-fraction-static 0.8控制 KV cache 显存占比--enable-flashinfer-allreduce-fusion打开 allreduce 融合python3 -m sglang.launch_server \ --model-path internlm/Intern-S2-FP8 \ --served-model-name internlm/Intern-S2-397B \ --trust-remote-code \ --tp-size 8 \ --mem-fraction-static 0.8 \ --enable-flashinfer-allreduce-fusion \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coderSGLang 的推测解码走 NEXTN 路线需要同时设置草稿步数与草稿 token 数且必须开SGLANG_ENABLE_SPEC_V21SGLANG_ENABLE_SPEC_V21 \ python3 -m sglang.launch_server \ --model-path internlm/Intern-S2-FP8 \ --served-model-name internlm/Intern-S2-397B \ --trust-remote-code \ --tp-size 8 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --mem-fraction-static 0.8 \ --mamba-scheduler-strategy extra_buffer \ --enable-flashinfer-allreduce-fusion \ --speculative-algo NEXTN \ --speculative-eagle-topk 1 \ --speculative-num-steps 3 \ --speculative-num-draft-tokens 4社区已有开发者在 8×H200 上用 SGLang 对 Intern-S2 系列做过 MTP 实测输出长度达到 16000 时吞吐接近翻倍约 97.5%延迟降低约 61%且 accept length 随输出增长而提升——长输出高吞吐场景下 MTP 的收益非常可观。三框架的 MTP 都是模型自带的config.json 中mtp_num_hidden_layers: 1不是外挂草稿模型这也是本模型与普通投机解码的本质区别。三框架能力对照能力项LMDeploy (≥0.14.0)vLLM (≥0.22.1)SGLang (≥0.5.13)基础服务✓ dp4 ep8✓ tp8✓ tp8MTP 推测解码qwen3_5_mtp4 draft tokensmtp3 tokensNEXTN4 tokens工具调用解析器interns2-previewqwen3_coderauto-tool-choiceqwen3_coder长上下文512KYaRN1MYaRN—时序推理检测/预测✓ 唯一支持✗✗一行验证OpenAI 兼容接口与工具调用无论选哪个框架起服务后第一件事就是验证连通性。以 LMDeploy 默认 23333 端口为例curl 一行即可确认服务正常curl http://0.0.0.0:23333/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer EMPTY \ -d { model: internlm/Intern-S2-397B, messages: [{role: user, content: Hello}], temperature: 0.8, top_p: 0.95 }注意model字段必须与启动时的--served-model-name或 vLLM 的--served-model-name完全一致。通过后用 OpenAI SDK 即可直接进入工具调用闭环。README 给出的天气查询示例完整展示了模型发 tool_call → 本地执行函数 → 回填 tool 消息 → 二次生成的标准流程这里只保留最核心的部分from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://0.0.0.0:23333/v1) response client.chat.completions.create( modelinternlm/Intern-S2-397B, messages[{role: user, content: Today is 2024-11-14, Whats the temperature in San Francisco now? How about tomorrow?}], max_tokens32768, temperature0.8, top_p0.95, extra_bodydict(spaces_between_special_tokensFalse), toolstools) # tools 为 OpenAI 风格 function 定义列表两个值得注意的细节请求里带上spaces_between_special_tokensFalse是官方示例的固定动作关系到特殊 token 拼接正确性max_tokens32768说明 Agent 任务默认按长输出预留。工具调用格式由 tokenizer_config.json 中的tool_call/tool_response特殊 token 支撑解析器interns2-preview/qwen3_coder负责把模型输出还原成标准 tool_calls。思考模式动态切换Intern-S2 默认开启思考think模式且 README 明确不建议在 Agent 任务中关闭。但在纯问答场景下可以通过请求参数动态关闭以降低延迟response client.chat.completions.create( modelinternlm/Intern-S2-397B, messagesmessages, temperature0.8, top_p0.95, max_tokens2048, extra_body{chat_template_kwargs: {enable_thinking: False}} )这个开关的实现在 chat_template.jinja 里enable_thinkingfalse时模板会注入一个空的think\n\n/think块同时处理时序输入时也会强制空思考否则在生成 prompt 中打开think标签引导模型先推理后回答。进阶512K 长上下文与科学模态YaRN 长上下文外推模型原生上下文是 256Kmax_position_embeddings: 262144。要跑 512K 甚至更长需要在启动时同时配置会话长度与 YaRN RoPE 参数。LMDeploy 侧的写法完整命令见 deployment_guide.mdlmdeploy serve api_server \ internlm/Intern-S2-FP8 \ --model-name internlm/Intern-S2-397B \ --trust-remote-code --backend pytorch \ --dp 4 --ep 8 --enable-prefix-caching \ --reasoning-parser default \ --tool-call-parser interns2-preview \ --session-len 512000 --max-batch-size 64 \ --hf-overrides {text_config: {rope_parameters: {mrope_interleaved: true, mrope_section: [11, 11, 10], rope_type: yarn, rope_theta: 10000000, partial_rotary_factor: 0.25, factor: 4.0, original_max_position_embeddings: 262144}}}核心是rope_type: yarnfactor: 4.0把 256K 的原始位置编码外推 4 倍vLLM 侧则是VLLM_ALLOW_LONG_MAX_MODEL_LEN1配合--max-model-len 1010000推到百万级。mrope_section: [11, 11, 10]这套参数与 config.json 中的默认rope_parameters一一对应长上下文场景必须整体覆盖。科学专用分词器Intern-S2 的科学感很大程度来自分词层面除基础 BPE 词表外模型内置了三个独立训练的 SentencePiece 领域分词器——SMILES分子结构、PROT蛋白质、XNA核酸。tokenizer_config.json 定义了SMILES/protein/dna/rna等边界 tokentokenization_interns1.py 中的prepare_extra_tokenizers会在遇到起始标记时用栈结构动态切换到对应分词器遇到结束标记再弹栈切回——分子式、蛋白序列不需要硬塞进通用 BPE 词表这也是模型能在材料结构生成、生物分子交互这类任务上稳定的底层原因。时序推理仅 LMDeploy时序是 LMDeploy 独占的能力。请求通过lmdeploy.vl.utils.encode_time_series_base64把.npy/.csv/.wav/.mp3/.flac等时序文件编码成 base64以time_series_url类型混入消息内容模型即可完成事件检测或预测。以地震事件检测为例from openai import OpenAI from lmdeploy.vl.utils import encode_time_series_base64 base64_ts encode_time_series_base64(./0092638_seism.npy) messages [{ role: user, content: [ {type: time_series_url, time_series_url: {url: fdata:time_series/npy;base64,{base64_ts}, sampling_rate: 100}}, {type: text, text: Please determine whether an Earthquake event has occurred in the provided time-series data. If so, please specify the starting time point indices of the P-wave and S-wave in the event.}, ], }]预测任务则更特别除了文本 prompt还可以在extra_body中带enable_forecasting: true与可选的forecast_horizon返回值会额外携带ts_forecast字段point_forecast点预测 quantile_forecast分位数预测。对应的特殊 token|ts|、TS_CONTEXT、TS_GEN与mamba_ssm_dtype: float32配置见 config.json说明时序能力是训练进模型权重里的原生模块而非后处理脚本——这也是 vLLM/SGLang 短期内难以补齐的差异点。怎么选一张决策清单要做科学 Agent / 必须用时序能力直接选 LMDeploy它是当前唯一同时支持时序检测与预测的框架interns2-preview解析器也是专为本模型校准的追求生态与长上下文vLLM 的--enable-auto-tool-choiceqwen3_coder解析器开箱即用且能推到 1M 上下文适合做通用长文档与检索场景极致吞吐、输出密集的批量任务SGLang 的 NEXTN 推测解码在长输出下已被社区实测验证16K 输出长度下吞吐近翻倍配合--mem-fraction-static精细调显存适合离线批处理。三条命令都已在 deployment_guide.md 中给出可直接复制的完整版本。权重就位后从复制命令到 curl 拿到第一个响应5 分钟绰绰有余真正的收益在于跑通之后——一个 397B 参数、能看懂论文图表、能读分子式、还能预测电力负荷的科学智能体现在完全掌握在自己手里。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
5分钟跑通 Intern-S2-397BLMDeploy/vLLM/SGLang 三选一部署手册上海AI实验室开源的 Intern-S2-397B 把科学智能体从口号变成了可以本地自托管的现实397B 参数的 MoE 多模态模型、原生 256K 上下文、Apache-2.0 许可官方同时给出 LMDeploy、vLLM、SGLang 三条部署路径。对工程团队来说真正的门槛不在于能不能跑而在于选哪条路、参数怎么给、验证怎么做。本文直接基于仓库内的 deployment_guide.md 与 README.md 源码级命令给出显存预算、三框架启动参数、OpenAI 兼容验证的完整闭环——如果权重已就位一条命令起服务5 分钟内就能拿到第一个 token。开跑之前先算清显存账再选依赖版本Intern-S2-397B 的架构写在 config.json 里Qwen3_5MoeForConditionalGeneration60 层 transformer其中大部分层是线性注意力linear_attention每隔 3 层插入一个全注意力层full_attentionMoE 部分配置了 512 个专家、每 token 激活 10 个num_experts: 512, num_experts_per_tok: 10并带 1 层 MTPmtp_num_hidden_layers: 1用于推测解码。这种线性注意力 MoE 混合专家路由的组合意味着虽然名义参数 397B但单次前向实际激活的参数远小于这个数字这正是在 8 卡节点上能跑起来的前提。权重规模可以从 model.safetensors.index.json 直接读出total_size为 806,846,206,816 字节即 BF16 全量约 807GB对应 188 个分片。部署指南的默认做法是拉取 FP8 版本权重internlm/Intern-S2-FP8体积近似减半配合 8×H100/H20080GB × 8 640GB 显存即可完整放下模型与 KV cache这也是 deployment_guide.md 原文推荐的节点配置。依赖版本与采样参数是两个最容易踩坑的点三框架的最低版本LMDeploy ≥ 0.14.0、vLLM ≥ 0.22.1、SGLang ≥ 0.5.13见 deployment_guide.md 各节标题采样参数README 建议top_p0.95, top_k50, min_p0.0, temperature0.8注意这与 generation_config.json 里的默认值temperature 0.6、top_k 20不同官方明确推荐前者以获得更稳定的输出全部命令都要带--trust-remote-code因为分词器是自定义实现InternS1Tokenizer见 tokenization_interns1.py。三条路并行三框架逐条跑通三个框架都能完成基础服务 / MTP 推测解码 / 长上下文三种形态差异在参数写法与能力边界上。路线一LMDeploy——唯一带时序能力的选手LMDeploy 的基础服务分两步先起一个 proxy server再起 api_server通过--proxy-url串联。核心参数是--dp 4 --ep 8数据并行 × 专家并行与--tool-call-parser interns2-previewlmdeploy serve proxy --server-name ${proxy_server_ip} --server-port ${proxy_server_port} lmdeploy serve api_server \ internlm/Intern-S2-FP8 \ --model-name internlm/Intern-S2-397B \ --trust-remote-code \ --backend pytorch \ --dp 4 \ --ep 8 \ --enable-prefix-caching \ --proxy-url http://${proxy_server_ip}:${proxy_server_port} \ --reasoning-parser default \ --tool-call-parser interns2-preview开启 MTP 推测解码只需追加两个参数配置的是qwen3_5_mtp算法、4 个草稿 token--speculative-algorithm qwen3_5_mtp \ --speculative-num-draft-tokens 4 \ --max-batch-size 256LMDeploy 的差异化能力在时序推理。README.md 写得很明确time series inference is currently only supported in LMDeploy——地震波检测、电力负荷预测这类任务目前只有 LMDeploy 一条路这一点直接影响选型后文专门展开。路线二vLLM——生态最广的高吞吐选择vLLM 侧首先要处理三个环境变量跳过 DeepGEMM 预热、关闭 DeepGEMM、将 FlashInfer 的 MoE 后端切到latency模式这是官方给出的兼容性配置export VLLM_DEEP_GEMM_WARMUPskip export VLLM_USE_DEEP_GEMM0 export VLLM_FLASHINFER_MOE_BACKENDlatency vllm serve internlm/Intern-S2-FP8 \ --served-model-name internlm/Intern-S2-397B \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ --mm-encoder-tp-mode datavLLM 的 MTP 走的是--speculative-configmethod: mtp, num_speculative_tokens: 3与 LMDeploy 的独立参数风格不同长上下文侧 vLLM 可以推到 1,010,000 长度见下文进阶部分。工具调用这里用的是qwen3_coder解析器与 LMDeploy 的interns2-preview区分开。路线三SGLang——MTP 加速的社区实测SGLang 基础服务一行命令--mem-fraction-static 0.8控制 KV cache 显存占比--enable-flashinfer-allreduce-fusion打开 allreduce 融合python3 -m sglang.launch_server \ --model-path internlm/Intern-S2-FP8 \ --served-model-name internlm/Intern-S2-397B \ --trust-remote-code \ --tp-size 8 \ --mem-fraction-static 0.8 \ --enable-flashinfer-allreduce-fusion \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coderSGLang 的推测解码走 NEXTN 路线需要同时设置草稿步数与草稿 token 数且必须开SGLANG_ENABLE_SPEC_V21SGLANG_ENABLE_SPEC_V21 \ python3 -m sglang.launch_server \ --model-path internlm/Intern-S2-FP8 \ --served-model-name internlm/Intern-S2-397B \ --trust-remote-code \ --tp-size 8 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --mem-fraction-static 0.8 \ --mamba-scheduler-strategy extra_buffer \ --enable-flashinfer-allreduce-fusion \ --speculative-algo NEXTN \ --speculative-eagle-topk 1 \ --speculative-num-steps 3 \ --speculative-num-draft-tokens 4社区已有开发者在 8×H200 上用 SGLang 对 Intern-S2 系列做过 MTP 实测输出长度达到 16000 时吞吐接近翻倍约 97.5%延迟降低约 61%且 accept length 随输出增长而提升——长输出高吞吐场景下 MTP 的收益非常可观。三框架的 MTP 都是模型自带的config.json 中mtp_num_hidden_layers: 1不是外挂草稿模型这也是本模型与普通投机解码的本质区别。三框架能力对照能力项LMDeploy (≥0.14.0)vLLM (≥0.22.1)SGLang (≥0.5.13)基础服务✓ dp4 ep8✓ tp8✓ tp8MTP 推测解码qwen3_5_mtp4 draft tokensmtp3 tokensNEXTN4 tokens工具调用解析器interns2-previewqwen3_coderauto-tool-choiceqwen3_coder长上下文512KYaRN1MYaRN—时序推理检测/预测✓ 唯一支持✗✗一行验证OpenAI 兼容接口与工具调用无论选哪个框架起服务后第一件事就是验证连通性。以 LMDeploy 默认 23333 端口为例curl 一行即可确认服务正常curl http://0.0.0.0:23333/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer EMPTY \ -d { model: internlm/Intern-S2-397B, messages: [{role: user, content: Hello}], temperature: 0.8, top_p: 0.95 }注意model字段必须与启动时的--served-model-name或 vLLM 的--served-model-name完全一致。通过后用 OpenAI SDK 即可直接进入工具调用闭环。README 给出的天气查询示例完整展示了模型发 tool_call → 本地执行函数 → 回填 tool 消息 → 二次生成的标准流程这里只保留最核心的部分from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://0.0.0.0:23333/v1) response client.chat.completions.create( modelinternlm/Intern-S2-397B, messages[{role: user, content: Today is 2024-11-14, Whats the temperature in San Francisco now? How about tomorrow?}], max_tokens32768, temperature0.8, top_p0.95, extra_bodydict(spaces_between_special_tokensFalse), toolstools) # tools 为 OpenAI 风格 function 定义列表两个值得注意的细节请求里带上spaces_between_special_tokensFalse是官方示例的固定动作关系到特殊 token 拼接正确性max_tokens32768说明 Agent 任务默认按长输出预留。工具调用格式由 tokenizer_config.json 中的tool_call/tool_response特殊 token 支撑解析器interns2-preview/qwen3_coder负责把模型输出还原成标准 tool_calls。思考模式动态切换Intern-S2 默认开启思考think模式且 README 明确不建议在 Agent 任务中关闭。但在纯问答场景下可以通过请求参数动态关闭以降低延迟response client.chat.completions.create( modelinternlm/Intern-S2-397B, messagesmessages, temperature0.8, top_p0.95, max_tokens2048, extra_body{chat_template_kwargs: {enable_thinking: False}} )这个开关的实现在 chat_template.jinja 里enable_thinkingfalse时模板会注入一个空的think\n\n/think块同时处理时序输入时也会强制空思考否则在生成 prompt 中打开think标签引导模型先推理后回答。进阶512K 长上下文与科学模态YaRN 长上下文外推模型原生上下文是 256Kmax_position_embeddings: 262144。要跑 512K 甚至更长需要在启动时同时配置会话长度与 YaRN RoPE 参数。LMDeploy 侧的写法完整命令见 deployment_guide.mdlmdeploy serve api_server \ internlm/Intern-S2-FP8 \ --model-name internlm/Intern-S2-397B \ --trust-remote-code --backend pytorch \ --dp 4 --ep 8 --enable-prefix-caching \ --reasoning-parser default \ --tool-call-parser interns2-preview \ --session-len 512000 --max-batch-size 64 \ --hf-overrides {text_config: {rope_parameters: {mrope_interleaved: true, mrope_section: [11, 11, 10], rope_type: yarn, rope_theta: 10000000, partial_rotary_factor: 0.25, factor: 4.0, original_max_position_embeddings: 262144}}}核心是rope_type: yarnfactor: 4.0把 256K 的原始位置编码外推 4 倍vLLM 侧则是VLLM_ALLOW_LONG_MAX_MODEL_LEN1配合--max-model-len 1010000推到百万级。mrope_section: [11, 11, 10]这套参数与 config.json 中的默认rope_parameters一一对应长上下文场景必须整体覆盖。科学专用分词器Intern-S2 的科学感很大程度来自分词层面除基础 BPE 词表外模型内置了三个独立训练的 SentencePiece 领域分词器——SMILES分子结构、PROT蛋白质、XNA核酸。tokenizer_config.json 定义了SMILES/protein/dna/rna等边界 tokentokenization_interns1.py 中的prepare_extra_tokenizers会在遇到起始标记时用栈结构动态切换到对应分词器遇到结束标记再弹栈切回——分子式、蛋白序列不需要硬塞进通用 BPE 词表这也是模型能在材料结构生成、生物分子交互这类任务上稳定的底层原因。时序推理仅 LMDeploy时序是 LMDeploy 独占的能力。请求通过lmdeploy.vl.utils.encode_time_series_base64把.npy/.csv/.wav/.mp3/.flac等时序文件编码成 base64以time_series_url类型混入消息内容模型即可完成事件检测或预测。以地震事件检测为例from openai import OpenAI from lmdeploy.vl.utils import encode_time_series_base64 base64_ts encode_time_series_base64(./0092638_seism.npy) messages [{ role: user, content: [ {type: time_series_url, time_series_url: {url: fdata:time_series/npy;base64,{base64_ts}, sampling_rate: 100}}, {type: text, text: Please determine whether an Earthquake event has occurred in the provided time-series data. If so, please specify the starting time point indices of the P-wave and S-wave in the event.}, ], }]预测任务则更特别除了文本 prompt还可以在extra_body中带enable_forecasting: true与可选的forecast_horizon返回值会额外携带ts_forecast字段point_forecast点预测 quantile_forecast分位数预测。对应的特殊 token|ts|、TS_CONTEXT、TS_GEN与mamba_ssm_dtype: float32配置见 config.json说明时序能力是训练进模型权重里的原生模块而非后处理脚本——这也是 vLLM/SGLang 短期内难以补齐的差异点。怎么选一张决策清单要做科学 Agent / 必须用时序能力直接选 LMDeploy它是当前唯一同时支持时序检测与预测的框架interns2-preview解析器也是专为本模型校准的追求生态与长上下文vLLM 的--enable-auto-tool-choiceqwen3_coder解析器开箱即用且能推到 1M 上下文适合做通用长文档与检索场景极致吞吐、输出密集的批量任务SGLang 的 NEXTN 推测解码在长输出下已被社区实测验证16K 输出长度下吞吐近翻倍配合--mem-fraction-static精细调显存适合离线批处理。三条命令都已在 deployment_guide.md 中给出可直接复制的完整版本。权重就位后从复制命令到 curl 拿到第一个响应5 分钟绰绰有余真正的收益在于跑通之后——一个 397B 参数、能看懂论文图表、能读分子式、还能预测电力负荷的科学智能体现在完全掌握在自己手里。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
