简介这份PDF文档对DeepSeek-R1推理模型进行了全面解读适合关注大模型技术演进的研究者、算法工程师及AI爱好者阅读。文档以DeepSeek系列模型从MoE、v2到v3的发展脉络为背景系统梳理了R1-Zero的纯强化学习训练与“顿悟时刻”、冷启动数据与多阶段训练方法、蒸馏技术、GRPO组相对策略优化、基于规则的奖励机制等关键技术点同时整理了其在教育、长上下文、事实问答、数学和编程等多个任务上的性能表现与开源影响。资源包含1个PDF文件压缩包约1.15MB排版紧凑信息密度高能够帮助快速建立对DeepSeek-R1技术体系与创新亮点的整体认知。目前已有236人学习下载适合作为模型原理入门或技术调研的精读参考资料。1. DeepSeek-R1 全面分析从模型到PDF报告的一次完整走查“DeepSeek-R1 全面分析2025.pdf”这个标题看起来是一份文档但背后是一个完整的技术动作把对DeepSeek-R1这个推理模型的架构理解、推理调优、能力评估最终沉淀为一份可分发、可归档的PDF报告。对于IT从业者来说跑通一个开源模型并不难难的是“全面”两个字——你得说清楚模型为什么这样设计、推理参数怎么调、和同类模型比强在哪并且把这些结论用可复现的命令和图表固化下来。这篇文章就沿着这条链路走一遍从模型架构讲到vLLM部署从标准评测讲到自建测试集最后给你三种把报告写成PDF的可靠方式。适合正在做技术选型、模型评估或需要输出分析报告的算法工程师与运维同学。2. DeepSeek-R1 架构分析与推理前的环境准备2.1 DeepSeek-R1 的架构特征从MoE到GRPODeepSeek-R1是2025年大模型竞争中一个绕不开的名字它在数学、代码等需要长链推理的任务上表现强势。它延续了DeepSeek-V3的底层设计核心亮点包括混合专家MoE结构和多头潜在注意力MLA。MoE的意义在于模型总参数可以做得很大但每次前向计算只激活一部分专家从而在保持效果的同时控制推理成本。以公开的蒸馏版为例7B级别的模型在单卡上就能跑起来而完整版动辄数百B参数需要多卡集群。MLA则通过低秩压缩键值缓存显著降低长文本生成时的显存占用这解释了为什么DeepSeek-R1在长上下文场景下比传统Transformer架构更省显存。除了架构DeepSeek-R1的关键创新在训练方式上。它使用GRPOGroup Relative Policy Optimization进行强化学习传统PPO需要额外的critic模型估计价值函数而GRPO通过一组采样输出的相对奖励来更新策略省掉了critic训练效率更高。这种训练使得R1学会了在给出最终答案前先生成一段内部的“思维链”。理解这一点很重要你后续做推理参数调试时如果max_tokens设得太短R1的思考过程会被强行截断输出质量会断崖式下跌。2.2 用Hugging Face下载模型的最小命令动手分析之前先把模型拿到手。常见做法是用Hugging Face CLI下载也可以用huggingface_hub库在Python里调用。下面是一个在Linux服务器上执行的下载命令以蒸馏7B版本为例因为这个规模能在主流显卡上跑起来。# 安装huggingface_hub工具 pip install huggingface_hub # 如果模型是私有或需要gated权限先登录 huggingface-cli login # 下载模型到本地目录--local-dir指定存放路径 huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local-dir ./models/DeepSeek-R1-Distill-Qwen-7B这里的huggingface-cli download会拉取仓库内的全部文件包括模型权重、config.json、tokenizer文件等。--local-dir让模型文件直接存放在你指定的目录下而不是默认的缓存目录——缓存目录层级深后续用vLLM加载时路径写起来很别扭。登录步骤只在你访问私有仓库或需要审核的仓库时需要公共仓库可以跳过。下载完成后用du -sh ./models/*查看目录大小确认权重文件完整。2.3 显存估算与硬件选型表模型下载完你最关心的是本地机器跑不跑得动。显存需求由模型参数规模、量化方式、上下文长度共同决定。下表给出的是fp16精度、batch size1、上下文长度2K时的估算值实际使用中显存占用会随batch size和输入输出长度增长。模型参数规模权重显存(fp16)推理激活显存建议单卡配置1.5B3GB1GBT4 16G即可7B14GB4GBV100 32G / RTX 409032B64GB12GBA800 80G / 多卡并行671B1342GB数百GB8×A100 80G集群如果你的显卡显存不够可以用4bit量化比如用bitsandbytes加载显存占用能降一半以上。但量化会带来一定的精度损失在做全面分析时建议在报告里注明“量化版本”与“全精度版本”的差异否则结论容易失真。另外上下文长度对显存的影响比想象中大——把max-model-len从2K调到8K激活显存可能涨3倍以上很多人遇到OOM就是栽在这里。提示下载完模型后先检查config.json里model_type和max_position_embeddings字段确认模型架构和最大序列长度避免后续推理配置出错。3. DeepSeek-R1 推理服务部署与性能调优3.1 用vLLM启动推理服务的命令要对DeepSeek-R1做全面分析你不可能只跑一次推理就下结论。你需要反复喂测试题、调整参数、统计延迟这时候把模型起成一个常驻服务是最省力的方式。vLLM是目前最主流的推理框架它通过PagedAttention优化显存管理吞吐量比transformers原生推理高数倍而且提供OpenAI兼容的HTTP接口各种脚本都能直接调。下面是启动命令以本地下载的7B模型为例。# 安装vllm pip install vllm # 启动OpenAI风格API服务 python -m vllm.entrypoints.openai.api_server \ --model ./models/DeepSeek-R1-Distill-Qwen-7B \ --served-model-name deepseek-r1 \ --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 4096 \ --gpu-memory-utilization 0.9参数说明--served-model-name是接口里暴露的模型名客户端请求时必须与它一致否则找不到模型--tensor-parallel-size是GPU并行度单卡设为1多卡可以设2、4、8--max-model-len是模型能处理的最大上下文总长度输入输出设为4096意味着超过这个长度会直接报错太大会占用大量显存--gpu-memory-utilization控制显存使用上限0.9代表最多用90%留一点给运行时开销。启动时注意日志里有没有“Already have tensors”或“Initializing”字样看到“Uvicorn running on http://0.0.0.0:8000”才算成功。3.2 推理参数temperature、top_p、max_tokens的合理取值范围同样一个模型推理参数不同输出质量和风格可能天差地别。DeepSeek-R1经过强化学习训练会输出很长一段“思考过程”所以它和普通指令模型的参数设置不一样。我在实际分析中一般这样选temperature0.6~0.8。温度偏低能让输出更稳定但温度设为0可能让R1陷入重复或找不到更优推理路径写代码或数学题时0.7左右比较稳妥。top_p0.85~0.95。它和temperature协同作用控制采样时的候选范围。如果你发现模型输出东拉西扯可以把top_p降一降但别低于0.8。max_tokens至少2048。R1会在最终答案前生成大量思考内容如果这个值设成512回答还没开始就被截断了。分析任务我用2048起步复杂题目会设到4096。下面是调用服务测试的curl命令你可以直接复制到终端里验证。curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-r1, messages: [{role: user, content: 用python写一个快速排序并解释时间复杂度。}], temperature: 0.7, top_p: 0.9, max_tokens: 2048 }返回的JSON里choices[0].message.content是完整回复。观察回复内容你会看到以think开头的思考片段那是R1的思维链。如果返回内容在思考中途断掉说明max_tokens不够调大重试。如果返回报错服务端日志里会有明确原因比如上下文超限或模型名不匹配。3.3 压测与延迟指标QPS和TTFT怎么看分析报告里不能只说“响应挺快”要有数字。关键指标有两个TTFT首token延迟和TPS每秒生成token数。TTFT影响用户感知的首字速度TPS影响总吞吐。下面这个Python脚本会模拟50个并发请求统计平均总耗时和区间用来评估服务稳定性。import asyncio, aiohttp, time async def send_one(session, prompt): data {model: deepseek-r1, messages: [{role: user, content: prompt}], max_tokens: 512} start time.perf_counter() async with session.post(http://localhost:8000/v1/chat/completions, jsondata) as resp: body await resp.json() return time.perf_counter() - start # 总耗时 async def main(): prompts [11] * 50 async with aiohttp.ClientSession() as session: tasks [send_one(session, p) for p in prompts] results await asyncio.gather(*tasks) avg_time sum(results) / len(results) print(f平均总耗时: {avg_time:.2f}s, 最小: {min(results):.2f}s, 最大: {max(results):.2f}s) asyncio.run(main())这个脚本是简化版没有逐token解析首token时刻但足以判断服务有没有明显卡顿。如果你想测TTFT需要在aiohttp的流式响应里每次接收一个字节记录时间或者在服务端开启--metrics参数接入Prometheus。压测时如果出现CUDA OOM优先调低--gpu-memory-utilization或减小--max-model-len。如果tensor-parallel-size大于1还要确认多卡间NVLink带宽否则并行反而会拖慢速度。4. DeepSeek-R1 能力评估与横向对比分析4.1 用lm-evaluation-harness跑MMLU/HumanEval/GSM8K全面分析不能只靠几道自定义题目得跑公开基准。lm-evaluation-harness是EleutherAI开源的标准评估框架支持几百个任务。用它评估DeepSeek-R1的数学和代码能力命令如下。# 安装lm-eval pip install lm-eval # 运行GSM8K数学应用题5-shot lm_eval --model vllm \ --model_args pretrained./models/DeepSeek-R1-Distill-Qwen-7B,revisionmain,tensor_parallel_size1 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto \ --output_path ./eval_results/gsm8k.json--model vllm表示用vLLM作为推理后端速度比transformers快很多--tasks指定评测任务可以逗号分隔多个--num_fewshot是示例数量GSM8K官方推荐5-shot--batch_size auto让框架自动选择最优批大小。跑完后--output_path指定的JSON文件里有results字段包含acc和acc_norm前者是标准准确率后者是对长度差异校正后的准确率。MMLU任务同理把--tasks改成mmlu但MMLU有57个子任务跑起来时间长建议先跑mmlu_stem之类的子集验证环境。4.2 自建领域测试集评估不是刷分公开基准只能反映通用能力你的业务场景才是真战场。做全面分析时我会根据实际使用场景构造20~50条测试题覆盖代码、数学、逻辑推理、中文知识四类并且每条题都要有标准答案或明确的评判规则。关键是不能拿训练集里的题否则测出来的是记忆而不是推理。写一个Python脚本批量调用vLLM服务保存所有输出。import requests, json with open(my_tests.json, r, encodingutf-8) as f: tests json.load(f) # [{id: 1, question: ..., answer: ...}] results [] for t in tests: resp requests.post(http://localhost:8000/v1/chat/completions, json{model: deepseek-r1, messages: [{role: user, content: t[question]}], max_tokens: 1024}) out resp.json()[choices][0][message][content] results.append({id: t[id], output: out, reference: t[answer]}) with open(eval_outputs.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(已保存, len(results), 条结果)脚本逻辑很简单遍历测试集依次请求服务把模型输出和参考答案配对保存。注意max_tokens要足够大否则R1思考到一半被截断答案可能不完整。保存后你需要逐条或写规则判断对错。判断时尤其要小心R1的输出里包含“思考过程”真正答案在最后几行用字符串匹配时先截取think标签之后的内容。4.3 用表格汇总基准分数与业务场景得分跑完所有测试需要把结果整理成可阅读的表格。用Pandas做聚合统计下面这段代码可以按题目类型计算平均输出长度和平均耗时假如你在请求时记录了耗时。import pandas as pd # 假设eval_outputs.json里已经加了time字段 data pd.read_json(eval_outputs.json) data[task_type] data[id].apply(lambda x: code if x 10 else math) summary data.groupby(task_type).agg( count(id, count), avg_output_len(output, lambda s: s.apply(len).mean()), avg_time(time, mean) ) print(summary)展示结果时建议把标准评测GSM8K、MMLU和自建评测放在同一个表格里但要用不同列区分。横向对比其他模型时必须注明评估条件模型版本、是否量化、推理框架、temperature、top_p。这些参数一变分数可能差好几个百分点。报告里如果不写清楚分析结论就没有说服力。另外原始输出要保留成附件PDF正文里放汇总表方便复核。5. 把 DeepSeek-R1 分析报告输出成 PDF 的三种方式5.1 用WeasyPrint把HTML转PDF解决中文和代码样式分析报告最终要以PDF分发。最省心的是用WeasyPrint它直接将HTML/CSS渲染成PDF对中文支持好不需要折腾LaTeX。下面是一个最小模板。!DOCTYPE html html headmeta charsetutf-8style body { font-family: Noto Sans CJK SC, sans-serif; } pre { background: #f5f5f5; padding: 10px; page-break-inside: avoid; } page { bottom-center { content: 第 counter(page) 页; } } /style/head body h1DeepSeek-R1 全面分析报告/h1 p模型版本DeepSeek-R1-Distill-Qwen-7B/p precode# 推理示例 curl http://localhost:8000/v1/chat/completions .../code/pre /body /html转换命令pip install weasyprint weasyprint report.html report.pdf要点font-family必须指定系统里存在的中文字体用fc-list :langzh查一下。pre加page-break-inside: avoid防止代码块被分页截断。bottom-center用于生成页码。这种方式适合正文以图表和代码为主的分析报告。5.2 用MarkdownLaTeX生成PDF适合科技报告如果报告里有大量公式推导比如复杂度分析、注意力机制说明我会选择Pandocxelatex。命令如下pandoc report.md -o report.pdf \ --pdf-enginexelatex \ -V mainfontNoto Serif CJK SC \ -V monofontNoto Sans Mono CJK SC这个方案能自动处理目录、交叉引用和公式但需要安装TeX发行版体积大。如果你只是把Markdown转PDF不是非用不可。遇到中文乱码时检查mainfont参数是否指定了中文字体没有指定就会回退到默认西文字体导致缺字。5.3 三个PDF生成坑中文乱码、代码截断、页眉页脚最后说三个高频问题。第一中文乱码大多是字体没找到用fc-list :langzh查可用字体在CSS或-V mainfont里写全名。第二代码块被分页截断给pre加page-break-inside: avoid长代码手动换行或缩小字号。第三报告没有版本号和时间分析报告要能追溯在页脚放上日期和模型版本很关键。WeasyPrint里用page bottom-left { content: DeepSeek-R1 全面分析 2025-06 }这类固定内容。如果你只是临时合并几个PDF片段用现成的pdf编辑器更快但生成结构化分析报告编程方式才是可复现的。把HTML模板、评估脚本、PDF生成命令放进同一个仓库下次更新模型或数据一条命令重跑全部。本文还有配套的精品资源点击获取
简介这份PDF文档对DeepSeek-R1推理模型进行了全面解读适合关注大模型技术演进的研究者、算法工程师及AI爱好者阅读。文档以DeepSeek系列模型从MoE、v2到v3的发展脉络为背景系统梳理了R1-Zero的纯强化学习训练与“顿悟时刻”、冷启动数据与多阶段训练方法、蒸馏技术、GRPO组相对策略优化、基于规则的奖励机制等关键技术点同时整理了其在教育、长上下文、事实问答、数学和编程等多个任务上的性能表现与开源影响。资源包含1个PDF文件压缩包约1.15MB排版紧凑信息密度高能够帮助快速建立对DeepSeek-R1技术体系与创新亮点的整体认知。目前已有236人学习下载适合作为模型原理入门或技术调研的精读参考资料。1. DeepSeek-R1 全面分析从模型到PDF报告的一次完整走查“DeepSeek-R1 全面分析2025.pdf”这个标题看起来是一份文档但背后是一个完整的技术动作把对DeepSeek-R1这个推理模型的架构理解、推理调优、能力评估最终沉淀为一份可分发、可归档的PDF报告。对于IT从业者来说跑通一个开源模型并不难难的是“全面”两个字——你得说清楚模型为什么这样设计、推理参数怎么调、和同类模型比强在哪并且把这些结论用可复现的命令和图表固化下来。这篇文章就沿着这条链路走一遍从模型架构讲到vLLM部署从标准评测讲到自建测试集最后给你三种把报告写成PDF的可靠方式。适合正在做技术选型、模型评估或需要输出分析报告的算法工程师与运维同学。2. DeepSeek-R1 架构分析与推理前的环境准备2.1 DeepSeek-R1 的架构特征从MoE到GRPODeepSeek-R1是2025年大模型竞争中一个绕不开的名字它在数学、代码等需要长链推理的任务上表现强势。它延续了DeepSeek-V3的底层设计核心亮点包括混合专家MoE结构和多头潜在注意力MLA。MoE的意义在于模型总参数可以做得很大但每次前向计算只激活一部分专家从而在保持效果的同时控制推理成本。以公开的蒸馏版为例7B级别的模型在单卡上就能跑起来而完整版动辄数百B参数需要多卡集群。MLA则通过低秩压缩键值缓存显著降低长文本生成时的显存占用这解释了为什么DeepSeek-R1在长上下文场景下比传统Transformer架构更省显存。除了架构DeepSeek-R1的关键创新在训练方式上。它使用GRPOGroup Relative Policy Optimization进行强化学习传统PPO需要额外的critic模型估计价值函数而GRPO通过一组采样输出的相对奖励来更新策略省掉了critic训练效率更高。这种训练使得R1学会了在给出最终答案前先生成一段内部的“思维链”。理解这一点很重要你后续做推理参数调试时如果max_tokens设得太短R1的思考过程会被强行截断输出质量会断崖式下跌。2.2 用Hugging Face下载模型的最小命令动手分析之前先把模型拿到手。常见做法是用Hugging Face CLI下载也可以用huggingface_hub库在Python里调用。下面是一个在Linux服务器上执行的下载命令以蒸馏7B版本为例因为这个规模能在主流显卡上跑起来。# 安装huggingface_hub工具 pip install huggingface_hub # 如果模型是私有或需要gated权限先登录 huggingface-cli login # 下载模型到本地目录--local-dir指定存放路径 huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local-dir ./models/DeepSeek-R1-Distill-Qwen-7B这里的huggingface-cli download会拉取仓库内的全部文件包括模型权重、config.json、tokenizer文件等。--local-dir让模型文件直接存放在你指定的目录下而不是默认的缓存目录——缓存目录层级深后续用vLLM加载时路径写起来很别扭。登录步骤只在你访问私有仓库或需要审核的仓库时需要公共仓库可以跳过。下载完成后用du -sh ./models/*查看目录大小确认权重文件完整。2.3 显存估算与硬件选型表模型下载完你最关心的是本地机器跑不跑得动。显存需求由模型参数规模、量化方式、上下文长度共同决定。下表给出的是fp16精度、batch size1、上下文长度2K时的估算值实际使用中显存占用会随batch size和输入输出长度增长。模型参数规模权重显存(fp16)推理激活显存建议单卡配置1.5B3GB1GBT4 16G即可7B14GB4GBV100 32G / RTX 409032B64GB12GBA800 80G / 多卡并行671B1342GB数百GB8×A100 80G集群如果你的显卡显存不够可以用4bit量化比如用bitsandbytes加载显存占用能降一半以上。但量化会带来一定的精度损失在做全面分析时建议在报告里注明“量化版本”与“全精度版本”的差异否则结论容易失真。另外上下文长度对显存的影响比想象中大——把max-model-len从2K调到8K激活显存可能涨3倍以上很多人遇到OOM就是栽在这里。提示下载完模型后先检查config.json里model_type和max_position_embeddings字段确认模型架构和最大序列长度避免后续推理配置出错。3. DeepSeek-R1 推理服务部署与性能调优3.1 用vLLM启动推理服务的命令要对DeepSeek-R1做全面分析你不可能只跑一次推理就下结论。你需要反复喂测试题、调整参数、统计延迟这时候把模型起成一个常驻服务是最省力的方式。vLLM是目前最主流的推理框架它通过PagedAttention优化显存管理吞吐量比transformers原生推理高数倍而且提供OpenAI兼容的HTTP接口各种脚本都能直接调。下面是启动命令以本地下载的7B模型为例。# 安装vllm pip install vllm # 启动OpenAI风格API服务 python -m vllm.entrypoints.openai.api_server \ --model ./models/DeepSeek-R1-Distill-Qwen-7B \ --served-model-name deepseek-r1 \ --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 4096 \ --gpu-memory-utilization 0.9参数说明--served-model-name是接口里暴露的模型名客户端请求时必须与它一致否则找不到模型--tensor-parallel-size是GPU并行度单卡设为1多卡可以设2、4、8--max-model-len是模型能处理的最大上下文总长度输入输出设为4096意味着超过这个长度会直接报错太大会占用大量显存--gpu-memory-utilization控制显存使用上限0.9代表最多用90%留一点给运行时开销。启动时注意日志里有没有“Already have tensors”或“Initializing”字样看到“Uvicorn running on http://0.0.0.0:8000”才算成功。3.2 推理参数temperature、top_p、max_tokens的合理取值范围同样一个模型推理参数不同输出质量和风格可能天差地别。DeepSeek-R1经过强化学习训练会输出很长一段“思考过程”所以它和普通指令模型的参数设置不一样。我在实际分析中一般这样选temperature0.6~0.8。温度偏低能让输出更稳定但温度设为0可能让R1陷入重复或找不到更优推理路径写代码或数学题时0.7左右比较稳妥。top_p0.85~0.95。它和temperature协同作用控制采样时的候选范围。如果你发现模型输出东拉西扯可以把top_p降一降但别低于0.8。max_tokens至少2048。R1会在最终答案前生成大量思考内容如果这个值设成512回答还没开始就被截断了。分析任务我用2048起步复杂题目会设到4096。下面是调用服务测试的curl命令你可以直接复制到终端里验证。curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-r1, messages: [{role: user, content: 用python写一个快速排序并解释时间复杂度。}], temperature: 0.7, top_p: 0.9, max_tokens: 2048 }返回的JSON里choices[0].message.content是完整回复。观察回复内容你会看到以think开头的思考片段那是R1的思维链。如果返回内容在思考中途断掉说明max_tokens不够调大重试。如果返回报错服务端日志里会有明确原因比如上下文超限或模型名不匹配。3.3 压测与延迟指标QPS和TTFT怎么看分析报告里不能只说“响应挺快”要有数字。关键指标有两个TTFT首token延迟和TPS每秒生成token数。TTFT影响用户感知的首字速度TPS影响总吞吐。下面这个Python脚本会模拟50个并发请求统计平均总耗时和区间用来评估服务稳定性。import asyncio, aiohttp, time async def send_one(session, prompt): data {model: deepseek-r1, messages: [{role: user, content: prompt}], max_tokens: 512} start time.perf_counter() async with session.post(http://localhost:8000/v1/chat/completions, jsondata) as resp: body await resp.json() return time.perf_counter() - start # 总耗时 async def main(): prompts [11] * 50 async with aiohttp.ClientSession() as session: tasks [send_one(session, p) for p in prompts] results await asyncio.gather(*tasks) avg_time sum(results) / len(results) print(f平均总耗时: {avg_time:.2f}s, 最小: {min(results):.2f}s, 最大: {max(results):.2f}s) asyncio.run(main())这个脚本是简化版没有逐token解析首token时刻但足以判断服务有没有明显卡顿。如果你想测TTFT需要在aiohttp的流式响应里每次接收一个字节记录时间或者在服务端开启--metrics参数接入Prometheus。压测时如果出现CUDA OOM优先调低--gpu-memory-utilization或减小--max-model-len。如果tensor-parallel-size大于1还要确认多卡间NVLink带宽否则并行反而会拖慢速度。4. DeepSeek-R1 能力评估与横向对比分析4.1 用lm-evaluation-harness跑MMLU/HumanEval/GSM8K全面分析不能只靠几道自定义题目得跑公开基准。lm-evaluation-harness是EleutherAI开源的标准评估框架支持几百个任务。用它评估DeepSeek-R1的数学和代码能力命令如下。# 安装lm-eval pip install lm-eval # 运行GSM8K数学应用题5-shot lm_eval --model vllm \ --model_args pretrained./models/DeepSeek-R1-Distill-Qwen-7B,revisionmain,tensor_parallel_size1 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto \ --output_path ./eval_results/gsm8k.json--model vllm表示用vLLM作为推理后端速度比transformers快很多--tasks指定评测任务可以逗号分隔多个--num_fewshot是示例数量GSM8K官方推荐5-shot--batch_size auto让框架自动选择最优批大小。跑完后--output_path指定的JSON文件里有results字段包含acc和acc_norm前者是标准准确率后者是对长度差异校正后的准确率。MMLU任务同理把--tasks改成mmlu但MMLU有57个子任务跑起来时间长建议先跑mmlu_stem之类的子集验证环境。4.2 自建领域测试集评估不是刷分公开基准只能反映通用能力你的业务场景才是真战场。做全面分析时我会根据实际使用场景构造20~50条测试题覆盖代码、数学、逻辑推理、中文知识四类并且每条题都要有标准答案或明确的评判规则。关键是不能拿训练集里的题否则测出来的是记忆而不是推理。写一个Python脚本批量调用vLLM服务保存所有输出。import requests, json with open(my_tests.json, r, encodingutf-8) as f: tests json.load(f) # [{id: 1, question: ..., answer: ...}] results [] for t in tests: resp requests.post(http://localhost:8000/v1/chat/completions, json{model: deepseek-r1, messages: [{role: user, content: t[question]}], max_tokens: 1024}) out resp.json()[choices][0][message][content] results.append({id: t[id], output: out, reference: t[answer]}) with open(eval_outputs.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(已保存, len(results), 条结果)脚本逻辑很简单遍历测试集依次请求服务把模型输出和参考答案配对保存。注意max_tokens要足够大否则R1思考到一半被截断答案可能不完整。保存后你需要逐条或写规则判断对错。判断时尤其要小心R1的输出里包含“思考过程”真正答案在最后几行用字符串匹配时先截取think标签之后的内容。4.3 用表格汇总基准分数与业务场景得分跑完所有测试需要把结果整理成可阅读的表格。用Pandas做聚合统计下面这段代码可以按题目类型计算平均输出长度和平均耗时假如你在请求时记录了耗时。import pandas as pd # 假设eval_outputs.json里已经加了time字段 data pd.read_json(eval_outputs.json) data[task_type] data[id].apply(lambda x: code if x 10 else math) summary data.groupby(task_type).agg( count(id, count), avg_output_len(output, lambda s: s.apply(len).mean()), avg_time(time, mean) ) print(summary)展示结果时建议把标准评测GSM8K、MMLU和自建评测放在同一个表格里但要用不同列区分。横向对比其他模型时必须注明评估条件模型版本、是否量化、推理框架、temperature、top_p。这些参数一变分数可能差好几个百分点。报告里如果不写清楚分析结论就没有说服力。另外原始输出要保留成附件PDF正文里放汇总表方便复核。5. 把 DeepSeek-R1 分析报告输出成 PDF 的三种方式5.1 用WeasyPrint把HTML转PDF解决中文和代码样式分析报告最终要以PDF分发。最省心的是用WeasyPrint它直接将HTML/CSS渲染成PDF对中文支持好不需要折腾LaTeX。下面是一个最小模板。!DOCTYPE html html headmeta charsetutf-8style body { font-family: Noto Sans CJK SC, sans-serif; } pre { background: #f5f5f5; padding: 10px; page-break-inside: avoid; } page { bottom-center { content: 第 counter(page) 页; } } /style/head body h1DeepSeek-R1 全面分析报告/h1 p模型版本DeepSeek-R1-Distill-Qwen-7B/p precode# 推理示例 curl http://localhost:8000/v1/chat/completions .../code/pre /body /html转换命令pip install weasyprint weasyprint report.html report.pdf要点font-family必须指定系统里存在的中文字体用fc-list :langzh查一下。pre加page-break-inside: avoid防止代码块被分页截断。bottom-center用于生成页码。这种方式适合正文以图表和代码为主的分析报告。5.2 用MarkdownLaTeX生成PDF适合科技报告如果报告里有大量公式推导比如复杂度分析、注意力机制说明我会选择Pandocxelatex。命令如下pandoc report.md -o report.pdf \ --pdf-enginexelatex \ -V mainfontNoto Serif CJK SC \ -V monofontNoto Sans Mono CJK SC这个方案能自动处理目录、交叉引用和公式但需要安装TeX发行版体积大。如果你只是把Markdown转PDF不是非用不可。遇到中文乱码时检查mainfont参数是否指定了中文字体没有指定就会回退到默认西文字体导致缺字。5.3 三个PDF生成坑中文乱码、代码截断、页眉页脚最后说三个高频问题。第一中文乱码大多是字体没找到用fc-list :langzh查可用字体在CSS或-V mainfont里写全名。第二代码块被分页截断给pre加page-break-inside: avoid长代码手动换行或缩小字号。第三报告没有版本号和时间分析报告要能追溯在页脚放上日期和模型版本很关键。WeasyPrint里用page bottom-left { content: DeepSeek-R1 全面分析 2025-06 }这类固定内容。如果你只是临时合并几个PDF片段用现成的pdf编辑器更快但生成结构化分析报告编程方式才是可复现的。把HTML模板、评估脚本、PDF生成命令放进同一个仓库下次更新模型或数据一条命令重跑全部。本文还有配套的精品资源点击获取
