TensorRT-LLM 如何在 Blackwell 硬件上部署 GPT-OSS-120B 并验证推理输出【免费下载链接】TensorRT-LLMTensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C runtimes that orchestrate the inference execution in a performant way.项目地址: https://gitcode.com/GitHub_Trending/te/TensorRT-LLM这篇文章针对一个明确的任务在 NVIDIA Blackwell GPU 上用 TensorRT-LLM 部署 OpenAI 的 GPT-OSS-120B 模型启动trtllm-serve推理服务并通过健康检查和真实请求验证输出。完成后你会得到一个运行在http://localhost:8000的 OpenAI 兼容 API 服务。以下内容依据项目自带的部署文档 deployment-guide-for-gpt-oss-on-trtllm.md 整理操作步骤与其中的命令保持一致。准备条件文档给出的硬性前提GPUNVIDIA Blackwell 架构如 B200/GB200/B300/GB300操作系统Linux驱动CUDA Driver 575 或更高版本已安装 Docker 与 NVIDIA Container ToolkitPython3 和 python3-pip 仅在需要跑精度评估时才用到模型是 MXFP4 权重的GPT-OSS-120BHugging Face 仓库openai/gpt-oss-120b。文档中的 MoE 后端支持矩阵说明Blackwell 设备上默认 MoE 后端为TRTLLMMXFP8 激活 MXFP4 权重用于低延迟和最大吞吐场景用户无需显式设置moe_config.backend。启动 Docker 容器使用 NGC 上的 TensorRT-LLM 容器。注意源文档中的镜像 tag 写作x.y.z这是占位符需要替换为 NGC 目录中实际发布的 tag主分支每周构建的 tag 带rcN后缀模型和功能支持最新月度经 QA 测试的版本不带该后缀。docker run --rm -it \ --ipchost \ --gpus all \ -p 8000:8000 \ -v ~/.cache:/root/.cache:rw \ --name tensorrt_llm \ nvcr.io/nvidia/tensorrt-llm/release:x.y.z \ /bin/bash命令中几个影响后续步骤的选项-v ~/.cache:/root/.cache:rw把宿主机的~/.cache挂进容器模型 checkpoint 默认下载到~/.cache/huggingface/hub/重跑容器时不用重新下载。如果宿主机没有~/.cache目录先执行mkdir ~/.cache。-p 8000:8000把容器 8000 端口映射到宿主机后续在宿主机上用 curl 访问 LLM API。如需挂载权重目录等额外路径可用-v host_path:container_path追加。选择推荐性能配置TensorRT-LLM 在 examples/configs 目录维护了推荐配置容器内路径为/app/tensorrt_llm/examples/configs可以直接使用也可以按自己的流量模式调整。GPT-OSS-120B 有两个现成 YAML低延迟gpt-oss-120b-latency.yamlTRTLLM_DIR/app/tensorrt_llm # change as needed to match your environment EXTRA_LLM_API_FILE${TRTLLM_DIR}/examples/configs/curated/gpt-oss-120b-latency.yaml对应的配置内容源文档直接内嵌该文件max_batch_size: 64 max_num_tokens: 16384 tensor_parallel_size: 8 moe_expert_parallel_size: 1 trust_remote_code: true cuda_graph_config: enable_padding: true max_batch_size: 64 moe_config: backend: TRTLLM stream_interval: 20 num_postprocess_workers: 4最大吞吐gpt-oss-120b-throughput.yamlTRTLLM_DIR/app/tensorrt_llm # change as needed to match your environment EXTRA_LLM_API_FILE${TRTLLM_DIR}/examples/configs/curated/gpt-oss-120b-throughput.yamlmax_batch_size: 720 # Depends on max_sequence_length max_num_tokens: 16384 tensor_parallel_size: 2 moe_expert_parallel_size: 2 trust_remote_code: true enable_attention_dp: true cuda_graph_config: enable_padding: true max_batch_size: 720 moe_config: backend: TRTLLM stream_interval: 20 num_postprocess_workers: 4 attention_dp_config: enable_balance: true batching_wait_iters: 50 timeout_iters: 1两个文件的tensor_parallel_size/moe_expert_parallel_size不同文档说明这两个值“一般应与你使用的 GPU 数量一致”所以低延迟配置面向 8 卡实例吞吐配置的并行度组合是 2x2。如果你的机器卡数与所选 YAML 不匹配需要在 YAML 中调整并行参数不能假设原样可用。这些配置针对 1024/1024 的输入/输出序列长度ISL/OSL调优如果请求输入更长可以在配置中加enable_chunked_prefill: true但文档明确说明这不保证最优性能。如果本地没有源码可以按源文档的方法手动创建 YAML 文件用cat EOF ${EXTRA_LLM_API_FILE}写入上面的内容再将其作为--config参数传入。启动推理服务在容器内执行启动命令trtllm-serve openai/gpt-oss-120b --host 0.0.0.0 --port 8000 --config ${EXTRA_LLM_API_FILE}其中${EXTRA_LLM_API_FILE}是上一步设置的 YAML 路径。--config是传入 YAML 配置文件的推荐参数旧的--extra_llm_api_options是等效别名仍可使用。服务启动完成后客户端就可以向服务器发送 prompt 请求。YAML 中与本次部署直接相关的几个选项均来自源文档的说明max_batch_size单个 batch 最多可包含的用户请求数实际能达到的值还受总序列长度和 KV cache 可用显存限制。max_num_tokens单个调度 batch 内允许的 token 总数上限每个请求的全部输入 token 加上每个 decode 请求的 1 个输出 token 都计入该阈值。kv_cache_free_gpu_memory_fraction模型加载后为 KV cache 预留的空闲显存比例0.0–1.0。如果遇到 OOM文档建议把它降到0.7或更低。cuda_graph_config.enable_padding默认false与cuda_graph_config.max_batch_size默认0文档建议把后者设为与--max_batch_size相同的值两个推荐 YAML 都已按此设置。trust_remote_code允许从 Hugging Face 下载模型和 tokenizer两个 YAML 均设为true。验证服务与推理输出在宿主机新开一个终端先查健康检查curl -s -o /dev/null -w Status: %{http_code}\n http://localhost:8000/health返回Status: 200表示服务就绪。注意源文档的提示首个查询可能因为初始化和编译耗时更久。服务日志出现Application startup complete后即可发请求。再发送一条 chat completion 请求验证实际推理输出curl http://localhost:8000/v1/chat/completions -H Content-Type: application/json -d { model: openai/gpt-oss-120b, messages: [ { role: user, content: Where is New York? } ], max_tokens: 1024, top_p: 1.0 } -w \n下面是源文档给出的响应示例文档示例不是每次请求的固定输出可以看到返回内容包含模型的推理分析与最终回答{id:chatcmpl-c5bf51b5cab94e10ba5da5266d12ee59,object:chat.completion,created:1755815898,model:openai/gpt-oss-120b,choices:[{index:0,message:{role:assistant,content:analysisThe user asks: \Where is New York?\ ... assistantfinal**New York** can refer to two related places in the United States: ...,reasoning_content:null,tool_calls:[]},finish_reason:stop,stop_reason:null}],usage:{prompt_tokens:72,total_tokens:705,completion_tokens:633},prompt_token_ids:null}判断标准请求返回finish_reason: stop且content中有针对问题的回答即说明部署与推理链路都已打通。常见问题的处理文档给出的排查项按现象对应CUDA out-of-memory 错误降低max_batch_size或max_seq_len或把kv_cache_free_gpu_memory_fraction调到0.7以下。容器无法启动确认 NVIDIA Container Toolkit 安装正确。连接问题确认 8000 端口没有被其他应用占用本文档的端口映射就是 8000。模型 checkpoint 格式不匹配确认权重与期望格式兼容。性能不达预期服务运行期间用nvidia-smi观察 GPU 利用率。可选跑一遍性能基准如果需要量化吞吐和延迟文档提供了内置的benchmark_serving.py脚本示例是针对 1024/1024 ISL/OSL 的单并发点调用python -m tensorrt_llm.serve.scripts.benchmark_serving \ --model openai/gpt-oss-120b \ --backend openai \ --dataset-name random \ --random-input-len 1024 \ --random-output-len 1024 \ --random-prefix-len 0 \ --random-ids \ --num-prompts 160 \ --max-concurrency 32 \ --ignore-eos \ --tokenize-on-client \ --percentile-metrics ttft,tpot,itl,e2el参数取自源文档中bench.sh脚本的一次循环num_prompts concurrency * multi_round即 32 x 5。若要扫并发区间或把结果落盘可加--save-result --result-dir dir --result-filename concurrency_n.json文档提示开启 attention DP 时要扫到concurrency max_batch_size * num_gpus才能逼近最大吞吐。输出包含 TTFT、TPOT、ITL、E2E 延迟和各吞吐指标具体含义见源文档的 Key Metrics 一节。如果还需要验证模型精度可选文档说明在 gpt-oss 仓库中用其官方gpt_oss.evals工具可直接对接trtllm-serve的 Chat Completions / Responses API且启动服务端时需要设置enable_attention_dp、tp_size、ep_size、max_batch_size、max_num_tokens评测时指定--reasoning-effort文档附了 B200 上不同reasoning-effort的参考配置表。边界与限制本路径绑定 Blackwell NGC TensorRT-LLM 容器文档的 MoE 后端矩阵中 HopperH200默认后端是TRITON而非TRTLLMHopper 用户不能照抄本文配置。推荐 YAML 只针对 1024/1024 ISL/OSL 调优更长输入要靠enable_chunked_prefill且文档明确它不保证最优性能。--config之外的完整 YAML 可选项源文档指向TorchLlmArgs类参考本文不展开。【免费下载链接】TensorRT-LLMTensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C runtimes that orchestrate the inference execution in a performant way.项目地址: https://gitcode.com/GitHub_Trending/te/TensorRT-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
TensorRT-LLM 如何在 Blackwell 硬件上部署 GPT-OSS-120B 并验证推理输出【免费下载链接】TensorRT-LLMTensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C runtimes that orchestrate the inference execution in a performant way.项目地址: https://gitcode.com/GitHub_Trending/te/TensorRT-LLM这篇文章针对一个明确的任务在 NVIDIA Blackwell GPU 上用 TensorRT-LLM 部署 OpenAI 的 GPT-OSS-120B 模型启动trtllm-serve推理服务并通过健康检查和真实请求验证输出。完成后你会得到一个运行在http://localhost:8000的 OpenAI 兼容 API 服务。以下内容依据项目自带的部署文档 deployment-guide-for-gpt-oss-on-trtllm.md 整理操作步骤与其中的命令保持一致。准备条件文档给出的硬性前提GPUNVIDIA Blackwell 架构如 B200/GB200/B300/GB300操作系统Linux驱动CUDA Driver 575 或更高版本已安装 Docker 与 NVIDIA Container ToolkitPython3 和 python3-pip 仅在需要跑精度评估时才用到模型是 MXFP4 权重的GPT-OSS-120BHugging Face 仓库openai/gpt-oss-120b。文档中的 MoE 后端支持矩阵说明Blackwell 设备上默认 MoE 后端为TRTLLMMXFP8 激活 MXFP4 权重用于低延迟和最大吞吐场景用户无需显式设置moe_config.backend。启动 Docker 容器使用 NGC 上的 TensorRT-LLM 容器。注意源文档中的镜像 tag 写作x.y.z这是占位符需要替换为 NGC 目录中实际发布的 tag主分支每周构建的 tag 带rcN后缀模型和功能支持最新月度经 QA 测试的版本不带该后缀。docker run --rm -it \ --ipchost \ --gpus all \ -p 8000:8000 \ -v ~/.cache:/root/.cache:rw \ --name tensorrt_llm \ nvcr.io/nvidia/tensorrt-llm/release:x.y.z \ /bin/bash命令中几个影响后续步骤的选项-v ~/.cache:/root/.cache:rw把宿主机的~/.cache挂进容器模型 checkpoint 默认下载到~/.cache/huggingface/hub/重跑容器时不用重新下载。如果宿主机没有~/.cache目录先执行mkdir ~/.cache。-p 8000:8000把容器 8000 端口映射到宿主机后续在宿主机上用 curl 访问 LLM API。如需挂载权重目录等额外路径可用-v host_path:container_path追加。选择推荐性能配置TensorRT-LLM 在 examples/configs 目录维护了推荐配置容器内路径为/app/tensorrt_llm/examples/configs可以直接使用也可以按自己的流量模式调整。GPT-OSS-120B 有两个现成 YAML低延迟gpt-oss-120b-latency.yamlTRTLLM_DIR/app/tensorrt_llm # change as needed to match your environment EXTRA_LLM_API_FILE${TRTLLM_DIR}/examples/configs/curated/gpt-oss-120b-latency.yaml对应的配置内容源文档直接内嵌该文件max_batch_size: 64 max_num_tokens: 16384 tensor_parallel_size: 8 moe_expert_parallel_size: 1 trust_remote_code: true cuda_graph_config: enable_padding: true max_batch_size: 64 moe_config: backend: TRTLLM stream_interval: 20 num_postprocess_workers: 4最大吞吐gpt-oss-120b-throughput.yamlTRTLLM_DIR/app/tensorrt_llm # change as needed to match your environment EXTRA_LLM_API_FILE${TRTLLM_DIR}/examples/configs/curated/gpt-oss-120b-throughput.yamlmax_batch_size: 720 # Depends on max_sequence_length max_num_tokens: 16384 tensor_parallel_size: 2 moe_expert_parallel_size: 2 trust_remote_code: true enable_attention_dp: true cuda_graph_config: enable_padding: true max_batch_size: 720 moe_config: backend: TRTLLM stream_interval: 20 num_postprocess_workers: 4 attention_dp_config: enable_balance: true batching_wait_iters: 50 timeout_iters: 1两个文件的tensor_parallel_size/moe_expert_parallel_size不同文档说明这两个值“一般应与你使用的 GPU 数量一致”所以低延迟配置面向 8 卡实例吞吐配置的并行度组合是 2x2。如果你的机器卡数与所选 YAML 不匹配需要在 YAML 中调整并行参数不能假设原样可用。这些配置针对 1024/1024 的输入/输出序列长度ISL/OSL调优如果请求输入更长可以在配置中加enable_chunked_prefill: true但文档明确说明这不保证最优性能。如果本地没有源码可以按源文档的方法手动创建 YAML 文件用cat EOF ${EXTRA_LLM_API_FILE}写入上面的内容再将其作为--config参数传入。启动推理服务在容器内执行启动命令trtllm-serve openai/gpt-oss-120b --host 0.0.0.0 --port 8000 --config ${EXTRA_LLM_API_FILE}其中${EXTRA_LLM_API_FILE}是上一步设置的 YAML 路径。--config是传入 YAML 配置文件的推荐参数旧的--extra_llm_api_options是等效别名仍可使用。服务启动完成后客户端就可以向服务器发送 prompt 请求。YAML 中与本次部署直接相关的几个选项均来自源文档的说明max_batch_size单个 batch 最多可包含的用户请求数实际能达到的值还受总序列长度和 KV cache 可用显存限制。max_num_tokens单个调度 batch 内允许的 token 总数上限每个请求的全部输入 token 加上每个 decode 请求的 1 个输出 token 都计入该阈值。kv_cache_free_gpu_memory_fraction模型加载后为 KV cache 预留的空闲显存比例0.0–1.0。如果遇到 OOM文档建议把它降到0.7或更低。cuda_graph_config.enable_padding默认false与cuda_graph_config.max_batch_size默认0文档建议把后者设为与--max_batch_size相同的值两个推荐 YAML 都已按此设置。trust_remote_code允许从 Hugging Face 下载模型和 tokenizer两个 YAML 均设为true。验证服务与推理输出在宿主机新开一个终端先查健康检查curl -s -o /dev/null -w Status: %{http_code}\n http://localhost:8000/health返回Status: 200表示服务就绪。注意源文档的提示首个查询可能因为初始化和编译耗时更久。服务日志出现Application startup complete后即可发请求。再发送一条 chat completion 请求验证实际推理输出curl http://localhost:8000/v1/chat/completions -H Content-Type: application/json -d { model: openai/gpt-oss-120b, messages: [ { role: user, content: Where is New York? } ], max_tokens: 1024, top_p: 1.0 } -w \n下面是源文档给出的响应示例文档示例不是每次请求的固定输出可以看到返回内容包含模型的推理分析与最终回答{id:chatcmpl-c5bf51b5cab94e10ba5da5266d12ee59,object:chat.completion,created:1755815898,model:openai/gpt-oss-120b,choices:[{index:0,message:{role:assistant,content:analysisThe user asks: \Where is New York?\ ... assistantfinal**New York** can refer to two related places in the United States: ...,reasoning_content:null,tool_calls:[]},finish_reason:stop,stop_reason:null}],usage:{prompt_tokens:72,total_tokens:705,completion_tokens:633},prompt_token_ids:null}判断标准请求返回finish_reason: stop且content中有针对问题的回答即说明部署与推理链路都已打通。常见问题的处理文档给出的排查项按现象对应CUDA out-of-memory 错误降低max_batch_size或max_seq_len或把kv_cache_free_gpu_memory_fraction调到0.7以下。容器无法启动确认 NVIDIA Container Toolkit 安装正确。连接问题确认 8000 端口没有被其他应用占用本文档的端口映射就是 8000。模型 checkpoint 格式不匹配确认权重与期望格式兼容。性能不达预期服务运行期间用nvidia-smi观察 GPU 利用率。可选跑一遍性能基准如果需要量化吞吐和延迟文档提供了内置的benchmark_serving.py脚本示例是针对 1024/1024 ISL/OSL 的单并发点调用python -m tensorrt_llm.serve.scripts.benchmark_serving \ --model openai/gpt-oss-120b \ --backend openai \ --dataset-name random \ --random-input-len 1024 \ --random-output-len 1024 \ --random-prefix-len 0 \ --random-ids \ --num-prompts 160 \ --max-concurrency 32 \ --ignore-eos \ --tokenize-on-client \ --percentile-metrics ttft,tpot,itl,e2el参数取自源文档中bench.sh脚本的一次循环num_prompts concurrency * multi_round即 32 x 5。若要扫并发区间或把结果落盘可加--save-result --result-dir dir --result-filename concurrency_n.json文档提示开启 attention DP 时要扫到concurrency max_batch_size * num_gpus才能逼近最大吞吐。输出包含 TTFT、TPOT、ITL、E2E 延迟和各吞吐指标具体含义见源文档的 Key Metrics 一节。如果还需要验证模型精度可选文档说明在 gpt-oss 仓库中用其官方gpt_oss.evals工具可直接对接trtllm-serve的 Chat Completions / Responses API且启动服务端时需要设置enable_attention_dp、tp_size、ep_size、max_batch_size、max_num_tokens评测时指定--reasoning-effort文档附了 B200 上不同reasoning-effort的参考配置表。边界与限制本路径绑定 Blackwell NGC TensorRT-LLM 容器文档的 MoE 后端矩阵中 HopperH200默认后端是TRITON而非TRTLLMHopper 用户不能照抄本文配置。推荐 YAML 只针对 1024/1024 ISL/OSL 调优更长输入要靠enable_chunked_prefill且文档明确它不保证最优性能。--config之外的完整 YAML 可选项源文档指向TorchLlmArgs类参考本文不展开。【免费下载链接】TensorRT-LLMTensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C runtimes that orchestrate the inference execution in a performant way.项目地址: https://gitcode.com/GitHub_Trending/te/TensorRT-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
