1. 从周报排名到本地实测多模型评测脚本怎么搭大模型榜单周报这类内容看的时候很爽看完之后往往只剩一个模糊印象好像 GLM-4.7 又超了谁Gemini 3 Flash 又新晋了Grok Code Fast 1 还在编程调用量第一。但如果你手上正好在做模型选型或者要给团队交一份「我们该用哪个模型」的结论光看榜单是不够的。榜单是别人跑出来的你的任务分布、你的 prompt 风格、你的成本约束跟榜单的评测集未必一致。我试过直接拿周报里的排名去说服同事结果被问了一句「那你自己测过吗」当场卡住。后来我就想与其每次手动去各家平台开账号、配 Key、写不同的请求格式不如搭一套可复用的多模型评测脚本用统一的接口去调不同模型把周报里的排名变化当成线索自己跑一遍验证。这篇就围绕 2025/12/27 这期周报里的几个关键变化来展开GLM-4.7 在 SWE-Bench 上创开源新高、MiniMax M2.1 以 10B 激活参数拿下 Multi-SWE-bench 的 SOTA、Gemini 3 Flash 在 Text Arena 冲到第 2、DeepSeek-V3.2 在 FrontierMath 上超过 Kimi K2 Thinking。我会用 TaoToken 作为统一的 Key/API 通道把「周报结论」变成「本地可复现的评测流程」。适合谁看正在做模型选型、需要横向对比多个模型、又不想维护一堆 SDK 和鉴权逻辑的开发者。你不需要是评测专家只要能跑 Python 脚本、能看懂 JSON 配置就能跟着做。核心检索词先明确大模型榜单周报的本地复现、多模型评测脚本、TaoToken 统一 Key 调用。这三个词贯穿全文后面每一步都围绕它们展开。先说清楚一个前提榜单排名是「参考系」不是「结论」。同一梯队的模型在不同任务上差距可能很大周报里 GLM-4.7 的 SWE-Bench 73.8% 很亮眼但你的代码库如果是特定语言或特定框架实际表现可能完全不同。所以脚本的目标不是「复现榜单分数」而是「用同一套题、同一套评分逻辑把候选模型拉到一个平面上比」。这也是为什么需要统一 Key。如果每个模型都走各自的平台你要处理四套鉴权、四套请求体、四套返回解析脚本会变得又长又脆。统一通道之后切换模型只是改一个 model 字段的事。2. TaoToken 前置准备统一 Key 与 API 通道在写评测脚本之前先把通道打通。TaoToken 在这里的角色是「统一入口」你拿一个 Key就能通过同一套 OpenAI 兼容的接口去调不同厂商的模型。对评测脚本来说这意味着请求层可以完全复用只需要在 payload 里换 model 名字。先注册并拿到 Key。打开官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 完成账号注册后进入控制台。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 在 API Keys 页面创建一个新的 Key。创建时建议按用途命名比如eval-weekly-1227这样后面如果要做多套评测能一眼分清哪个 Key 对应哪批任务。API 的基础地址是 https://taotoken.net/api 注意这个地址不带 UTM 参数直接用于代码里的 base_url。Key 的格式通常是sk-开头的一串字符复制后先存到环境变量里不要硬编码进脚本。export TAOTOKEN_API_KEYsk-你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api如果你用的是 Windows PowerShell写法是$env:TAOTOKEN_API_KEYsk-你的Key $env:TAOTOKEN_BASE_URLhttps://taotoken.net/api环境变量设好之后先做一次最小连通性验证确认 Key 和通道都正常。用 curl 发一个最简单的 chat 请求curl -s $TAOTOKEN_BASE_URL/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: glm-4.7, messages: [{role: user, content: 只回复两个字连通}], max_tokens: 16 }如果返回的 JSON 里有choices字段并且 content 是「连通」说明通道没问题。如果返回 401说明 Key 没设对或者复制时带了空格如果返回 model not found说明模型名写错了需要去文档里核对当前可用的模型 ID。模型 ID 的对照建议放在一个独立的配置文件里不要散落在脚本各处。文档地址是 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 里面有当前支持的模型列表和对应的调用名。周报里提到的几个模型在脚本里我会用统一的别名映射比如glm-4.7、minimax-m2.1、gemini-3-flash、deepseek-v3.2实际调用时再映射到平台支持的 ID。这里有个容易踩的坑不同模型的 max_tokens 上限不一样有的模型对 temperature 的取值区间也有要求。评测脚本里最好给每个模型单独留一份参数覆盖而不是全局一套参数硬套。后面第 3 节的配置片段会体现这一点。另外如果你打算长期跑评测建议用 Coding Plan 而不是按次调用。Coding Plan 的入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 适合需要反复跑批量任务的场景。按次调用适合临时验证长期跑评测用套餐更省心。Key 拿到、通道验证通过之后就可以进入脚本配置环节了。3. 可复制配置评测脚本的 JSON 与请求参数这一节给出一套可以直接复制运行的配置。整体结构是一个models.json存模型别名和参数覆盖一个eval_config.json存评测任务和评分规则一个 Python 脚本负责读取配置、并发请求、汇总结果。先看models.json。这里把周报里提到的模型和几个对照模型都列进去每个模型有自己的参数覆盖{ models: [ { alias: glm-4.7, model_id: glm-4.7, temperature: 0.2, max_tokens: 2048, note: 周报 SWE-Bench 73.8%开源新高 }, { alias: minimax-m2.1, model_id: minimax-m2.1, temperature: 0.2, max_tokens: 2048, note: 10B 激活参数Multi-SWE-bench 49.4% }, { alias: gemini-3-flash, model_id: gemini-3-flash, temperature: 0.3, max_tokens: 2048, note: Text Arena 第 2超过 Grok 4.1 thinking }, { alias: deepseek-v3.2, model_id: deepseek-v3.2, temperature: 0.2, max_tokens: 2048, note: FrontierMath 22.1%超过 Kimi K2 Thinking }, { alias: grok-code-fast-1, model_id: grok-code-fast-1, temperature: 0.2, max_tokens: 2048, note: 编程调用量第 1 } ] }注意model_id这一栏要以文档里的实际调用名为准。如果某个模型在平台上暂时不可用脚本里要做跳过处理而不是直接报错中断。再看eval_config.json这里定义评测任务。我按周报里的几个能力维度各出一道题代码工程、数学推理、文本理解。每道题有 prompt、评分方式、以及期望的输出格式。{ tasks: [ { id: code-001, category: coding, prompt: 用 Python 实现一个函数输入一个整数列表返回其中所有两数之和等于目标值的下标对。要求处理重复元素返回所有不重复的下标对。只输出代码不要解释。, score_type: contains, expected_keywords: [def, return, for], weight: 1.0 }, { id: math-001, category: math, prompt: 求方程 x^3 - 6x^2 11x - 6 0 的所有实根并给出简要推导过程。, score_type: contains, expected_keywords: [1, 2, 3], weight: 1.0 }, { id: text-001, category: text, prompt: 用三句话总结大模型榜单周报的价值在于把分散的评测结果集中呈现但榜单分数受评测集和 prompt 影响本地复现时需要统一请求通道和评分逻辑。, score_type: length_range, min_len: 30, max_len: 300, weight: 1.0 } ] }评分方式这里先用最简单的关键词匹配和长度区间目的是让脚本能跑通、结果可对比。真实场景里你可以换成 LLM-as-judge或者接入自己的单元测试。关键是「同一套评分逻辑对所有模型一致」否则对比没有意义。然后是主脚本run_eval.py。核心逻辑是读配置、遍历模型、并发发请求、收集结果、按任务和模型汇总。import json import os import asyncio import aiohttp from datetime import datetime API_KEY os.environ[TAOTOKEN_API_KEY] BASE_URL os.environ[TAOTOKEN_BASE_URL] async def call_model(session, model_cfg, task): url f{BASE_URL}/v1/chat/completions headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } payload { model: model_cfg[model_id], messages: [{role: user, content: task[prompt]}], temperature: model_cfg.get(temperature, 0.2), max_tokens: model_cfg.get(max_tokens, 2048) } try: async with session.post(url, headersheaders, jsonpayload, timeout120) as resp: data await resp.json() content data[choices][0][message][content] return {ok: True, content: content} except Exception as e: return {ok: False, error: str(e)} def score(task, content): if task[score_type] contains: hit sum(1 for kw in task[expected_keywords] if kw in content) return hit / len(task[expected_keywords]) if task[score_type] length_range: n len(content) if task[min_len] n task[max_len]: return 1.0 return 0.0 return 0.0 async def main(): with open(models.json, encodingutf-8) as f: models json.load(f)[models] with open(eval_config.json, encodingutf-8) as f: tasks json.load(f)[tasks] results [] async with aiohttp.ClientSession() as session: for model in models: for task in tasks: r await call_model(session, model, task) if r[ok]: s score(task, r[content]) results.append({ model: model[alias], task: task[id], category: task[category], score: s, content_preview: r[content][:120] }) else: results.append({ model: model[alias], task: task[id], category: task[category], score: 0.0, error: r[error] }) ts datetime.now().strftime(%Y%m%d-%H%M%S) out feval_result_{ts}.json with open(out, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(fdone - {out}) if __name__ __main__: asyncio.run(main())依赖只有aiohttp装一下就能跑pip install aiohttp python run_eval.py这套配置的关键点在于模型参数和评测任务完全解耦加模型只改models.json加题目只改eval_config.json脚本本身不用动。这就是统一 Key 带来的好处——请求层稳定变化都收敛在配置里。如果你用的是 Claude Code 这类工具做辅助开发可以在 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 找到接入方式把评测脚本的调试也纳入统一通道。不过评测脚本本身不依赖特定编辑器命令行跑就够了。4. 验证请求与结果校验把周报结论跑成自己的数据脚本跑起来之后先别急着看总分先确认请求真的成功了。打开生成的eval_result_*.json检查有没有error字段。如果某个模型全部报错大概率是模型 ID 写错或者该模型当前不可用。一个正常的成功结果长这样{ model: glm-4.7, task: code-001, category: coding, score: 1.0, content_preview: def two_sum_pairs(nums, target):\n seen {}\n res set()\n for i, v in enumerate(nums):\n ... }如果content_preview是空的或者 score 全是 0先看原始返回。可以在脚本里加一个 debug 开关把完整 response 打出来。常见情况是模型返回了 markdown 代码块包裹的内容关键词匹配仍然能命中但如果你的评分逻辑要求纯代码就需要先剥离代码块标记。结果汇总可以用一段小脚本按模型和类别求平均分import json from collections import defaultdict with open(eval_result_20251227-120000.json, encodingutf-8) as f: results json.load(f) agg defaultdict(lambda: defaultdict(list)) for r in results: agg[r[model]][r[category]].append(r[score]) for model, cats in agg.items(): line f{model:20s} for cat in [coding, math, text]: scores cats.get(cat, []) avg sum(scores) / len(scores) if scores else 0 line f {cat}{avg:.2f} print(line)跑出来的表格大概是这样模型codingmathtextglm-4.71.000.671.00minimax-m2.11.000.331.00gemini-3-flash0.671.001.00deepseek-v3.20.671.000.67grok-code-fast-11.000.331.00这张表就是你自己的「周报」。它跟官方榜单不会完全一致因为题目不同、评分不同、参数不同。但它的价值在于你能看到在自己关心的任务上哪个模型更稳。比如周报里 GLM-4.7 的 SWE-Bench 很高你本地 coding 题也拿了满分说明它在代码任务上确实值得优先试而 math 题上 gemini-3-flash 和 deepseek-v3.2 表现更好跟周报里 Gemini 3 Flash 在 Text Arena 靠前、DeepSeek-V3.2 在 FrontierMath 超过 Kimi K2 Thinking 的方向是一致的。校验环节还要做一件事把同一道题重复跑 3 次看分数波动。大模型输出有随机性temperature 设 0.2 也不能保证完全确定。如果某个模型三次分数差异很大说明它在你的任务上不稳定选型时要谨慎。可以在脚本里加一个repeat参数对每个模型-任务组合跑多次取平均。{ repeat: 3, tasks: [...] }然后在主循环里套一层 for。这样得到的分数比单次更有参考价值。另外如果你想把评测结果跟周报里的排名做对照建议单独维护一个weekly_rank.json把周报里的关键排名记下来比如{ week: 2025-12-27, text_arena_top3: [gemini-3-flash, grok-4.1-thinking, ...], swe_bench_open_source_top: glm-4.7, multi_swe_bench_sota: minimax-m2.1, frontier_math_note: deepseek-v3.2 22.1% 超过 kimi-k2-thinking }这样每次跑完本地评测可以自动生成一段对照说明哪些结论一致、哪些有差异、差异可能来自哪里。这才是「把周报变成自己的验证流程」的完整闭环。5. 常见报错排查401、local proxy failed、reading choices跑评测脚本时报错基本集中在几个地方。这一节按真实遇到的错误来排查。401 Unauthorized。最常见的原因是 Key 没设进环境变量或者复制时带了换行和空格。先确认echo $TAOTOKEN_API_KEY | head -c 10如果输出不是sk-开头说明变量没生效。另一个原因是 Key 被禁用或额度用尽去控制台 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 检查 Key 状态和余额。注意请求头必须是Authorization: Bearer sk-xxx少一个空格也会 401。local proxy failed / connection refused。这个报错通常出现在你本地有网络层工具拦截了请求或者 base_url 写成了http://而不是https://。先确认TAOTOKEN_BASE_URL是https://taotoken.net/api没有多余路径。如果公司网络有出口限制换一个网络环境再试。脚本里 aiohttp 的 timeout 设 120 秒如果网络慢导致超时也会报类似的连接错误可以适当调大。reading choices 报错 / KeyError: choices。这说明返回的 JSON 里没有choices字段通常是请求体格式不对或者模型返回了错误信息。先把完整 response 打出来data await resp.json() print(json.dumps(data, ensure_asciiFalse, indent2))常见情况有三种一是model字段写了一个不存在的模型 ID返回{error: {message: model not found}}二是messages格式不对比如漏了role三是max_tokens超过了该模型上限返回参数错误。对照文档里的模型列表和参数说明逐个核对。OAuth / 鉴权相关报错。如果你在 Claude Code 或类似工具里配置 TaoToken遇到 OAuth 报错说明工具在尝试走它自己的登录流程而不是用你配的 Key。这时候要检查工具的配置文件确保 Base URL、API Key、Model ID 三件套都指向 TaoToken。以 Claude Code 为例配置文件里需要明确写{ base_url: https://taotoken.net/api, api_key: sk-你的Key, model: glm-4.7 }三件套缺一不可。只配了 Key 没配 Base URL工具会走默认端点只配了 Base URL 没配 Model ID工具不知道调哪个模型。Cline MCP 和 Codex 的 auth.json 也是同样的逻辑Base URL、Key、Model ID 都要写全。结果全是 0 分。脚本没报错但所有模型所有题都是 0 分先检查评分函数。如果expected_keywords里的词在模型输出里确实出现了但 score 还是 0可能是编码问题导致中文匹配失败。确保读写文件都用encodingutf-8。另一个可能是模型返回的内容被截断了max_tokens太小代码没输出完关键词自然匹配不上。把max_tokens调到 2048 或更高再试。并发过高导致部分请求失败。如果模型数量多、题目多一次性并发几百个请求可能触发限流。脚本里可以加一个信号量控制并发数sem asyncio.Semaphore(5) async def call_model(session, model_cfg, task): async with sem: ...把并发控制在 5 到 10 之间既不会太慢也不容易触发限流。如果还是失败看返回里的error字段如果是 rate limit就再降并发或加 sleep。排查完这些脚本基本就能稳定跑了。记住一个原则先让单个模型单道题跑通再扩到多模型多题目。不要一上来就全量跑出了问题很难定位。6. 把周报变成长期流程统一 Key 与 Coding Plan 的配合跑通一次评测之后真正有价值的是把它变成每周可重复的流程。周报每周更新你的评测脚本也可以每周跑一次用同一套题目对比模型变化。这样你手里就有一份自己的时间序列数据而不是每次都被榜单牵着走。具体做法是把models.json和eval_config.json纳入版本管理每次周报出来后更新模型列表和备注然后跑一次全量评测把结果按周存档。几周之后你就能看到某个模型是真的在进步还是只是某次评测的波动。长期跑评测对调用量的需求会上升这时候 Coding Plan 比按次调用更合适。入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 适合需要反复跑批量任务的场景。如果你只是偶尔验证一两个模型按次调用就够了。模型对话入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 可以用来快速试 prompt确认题目本身没有歧义再放进评测脚本。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 模型 ID 和参数以文档为准。API Keys 管理在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 建议给评测单独建一个 Key方便统计用量和随时吊销。最后给一个实用技巧在评测脚本里加一个--dry-run参数只打印将要发送的请求不实际调用。这样在改配置的时候可以先检查一遍避免因为一个拼写错误跑完几百个请求才发现问题。这个习惯能帮你省下不少调试时间。
1. 从周报排名到本地实测多模型评测脚本怎么搭大模型榜单周报这类内容看的时候很爽看完之后往往只剩一个模糊印象好像 GLM-4.7 又超了谁Gemini 3 Flash 又新晋了Grok Code Fast 1 还在编程调用量第一。但如果你手上正好在做模型选型或者要给团队交一份「我们该用哪个模型」的结论光看榜单是不够的。榜单是别人跑出来的你的任务分布、你的 prompt 风格、你的成本约束跟榜单的评测集未必一致。我试过直接拿周报里的排名去说服同事结果被问了一句「那你自己测过吗」当场卡住。后来我就想与其每次手动去各家平台开账号、配 Key、写不同的请求格式不如搭一套可复用的多模型评测脚本用统一的接口去调不同模型把周报里的排名变化当成线索自己跑一遍验证。这篇就围绕 2025/12/27 这期周报里的几个关键变化来展开GLM-4.7 在 SWE-Bench 上创开源新高、MiniMax M2.1 以 10B 激活参数拿下 Multi-SWE-bench 的 SOTA、Gemini 3 Flash 在 Text Arena 冲到第 2、DeepSeek-V3.2 在 FrontierMath 上超过 Kimi K2 Thinking。我会用 TaoToken 作为统一的 Key/API 通道把「周报结论」变成「本地可复现的评测流程」。适合谁看正在做模型选型、需要横向对比多个模型、又不想维护一堆 SDK 和鉴权逻辑的开发者。你不需要是评测专家只要能跑 Python 脚本、能看懂 JSON 配置就能跟着做。核心检索词先明确大模型榜单周报的本地复现、多模型评测脚本、TaoToken 统一 Key 调用。这三个词贯穿全文后面每一步都围绕它们展开。先说清楚一个前提榜单排名是「参考系」不是「结论」。同一梯队的模型在不同任务上差距可能很大周报里 GLM-4.7 的 SWE-Bench 73.8% 很亮眼但你的代码库如果是特定语言或特定框架实际表现可能完全不同。所以脚本的目标不是「复现榜单分数」而是「用同一套题、同一套评分逻辑把候选模型拉到一个平面上比」。这也是为什么需要统一 Key。如果每个模型都走各自的平台你要处理四套鉴权、四套请求体、四套返回解析脚本会变得又长又脆。统一通道之后切换模型只是改一个 model 字段的事。2. TaoToken 前置准备统一 Key 与 API 通道在写评测脚本之前先把通道打通。TaoToken 在这里的角色是「统一入口」你拿一个 Key就能通过同一套 OpenAI 兼容的接口去调不同厂商的模型。对评测脚本来说这意味着请求层可以完全复用只需要在 payload 里换 model 名字。先注册并拿到 Key。打开官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 完成账号注册后进入控制台。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 在 API Keys 页面创建一个新的 Key。创建时建议按用途命名比如eval-weekly-1227这样后面如果要做多套评测能一眼分清哪个 Key 对应哪批任务。API 的基础地址是 https://taotoken.net/api 注意这个地址不带 UTM 参数直接用于代码里的 base_url。Key 的格式通常是sk-开头的一串字符复制后先存到环境变量里不要硬编码进脚本。export TAOTOKEN_API_KEYsk-你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api如果你用的是 Windows PowerShell写法是$env:TAOTOKEN_API_KEYsk-你的Key $env:TAOTOKEN_BASE_URLhttps://taotoken.net/api环境变量设好之后先做一次最小连通性验证确认 Key 和通道都正常。用 curl 发一个最简单的 chat 请求curl -s $TAOTOKEN_BASE_URL/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: glm-4.7, messages: [{role: user, content: 只回复两个字连通}], max_tokens: 16 }如果返回的 JSON 里有choices字段并且 content 是「连通」说明通道没问题。如果返回 401说明 Key 没设对或者复制时带了空格如果返回 model not found说明模型名写错了需要去文档里核对当前可用的模型 ID。模型 ID 的对照建议放在一个独立的配置文件里不要散落在脚本各处。文档地址是 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 里面有当前支持的模型列表和对应的调用名。周报里提到的几个模型在脚本里我会用统一的别名映射比如glm-4.7、minimax-m2.1、gemini-3-flash、deepseek-v3.2实际调用时再映射到平台支持的 ID。这里有个容易踩的坑不同模型的 max_tokens 上限不一样有的模型对 temperature 的取值区间也有要求。评测脚本里最好给每个模型单独留一份参数覆盖而不是全局一套参数硬套。后面第 3 节的配置片段会体现这一点。另外如果你打算长期跑评测建议用 Coding Plan 而不是按次调用。Coding Plan 的入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 适合需要反复跑批量任务的场景。按次调用适合临时验证长期跑评测用套餐更省心。Key 拿到、通道验证通过之后就可以进入脚本配置环节了。3. 可复制配置评测脚本的 JSON 与请求参数这一节给出一套可以直接复制运行的配置。整体结构是一个models.json存模型别名和参数覆盖一个eval_config.json存评测任务和评分规则一个 Python 脚本负责读取配置、并发请求、汇总结果。先看models.json。这里把周报里提到的模型和几个对照模型都列进去每个模型有自己的参数覆盖{ models: [ { alias: glm-4.7, model_id: glm-4.7, temperature: 0.2, max_tokens: 2048, note: 周报 SWE-Bench 73.8%开源新高 }, { alias: minimax-m2.1, model_id: minimax-m2.1, temperature: 0.2, max_tokens: 2048, note: 10B 激活参数Multi-SWE-bench 49.4% }, { alias: gemini-3-flash, model_id: gemini-3-flash, temperature: 0.3, max_tokens: 2048, note: Text Arena 第 2超过 Grok 4.1 thinking }, { alias: deepseek-v3.2, model_id: deepseek-v3.2, temperature: 0.2, max_tokens: 2048, note: FrontierMath 22.1%超过 Kimi K2 Thinking }, { alias: grok-code-fast-1, model_id: grok-code-fast-1, temperature: 0.2, max_tokens: 2048, note: 编程调用量第 1 } ] }注意model_id这一栏要以文档里的实际调用名为准。如果某个模型在平台上暂时不可用脚本里要做跳过处理而不是直接报错中断。再看eval_config.json这里定义评测任务。我按周报里的几个能力维度各出一道题代码工程、数学推理、文本理解。每道题有 prompt、评分方式、以及期望的输出格式。{ tasks: [ { id: code-001, category: coding, prompt: 用 Python 实现一个函数输入一个整数列表返回其中所有两数之和等于目标值的下标对。要求处理重复元素返回所有不重复的下标对。只输出代码不要解释。, score_type: contains, expected_keywords: [def, return, for], weight: 1.0 }, { id: math-001, category: math, prompt: 求方程 x^3 - 6x^2 11x - 6 0 的所有实根并给出简要推导过程。, score_type: contains, expected_keywords: [1, 2, 3], weight: 1.0 }, { id: text-001, category: text, prompt: 用三句话总结大模型榜单周报的价值在于把分散的评测结果集中呈现但榜单分数受评测集和 prompt 影响本地复现时需要统一请求通道和评分逻辑。, score_type: length_range, min_len: 30, max_len: 300, weight: 1.0 } ] }评分方式这里先用最简单的关键词匹配和长度区间目的是让脚本能跑通、结果可对比。真实场景里你可以换成 LLM-as-judge或者接入自己的单元测试。关键是「同一套评分逻辑对所有模型一致」否则对比没有意义。然后是主脚本run_eval.py。核心逻辑是读配置、遍历模型、并发发请求、收集结果、按任务和模型汇总。import json import os import asyncio import aiohttp from datetime import datetime API_KEY os.environ[TAOTOKEN_API_KEY] BASE_URL os.environ[TAOTOKEN_BASE_URL] async def call_model(session, model_cfg, task): url f{BASE_URL}/v1/chat/completions headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } payload { model: model_cfg[model_id], messages: [{role: user, content: task[prompt]}], temperature: model_cfg.get(temperature, 0.2), max_tokens: model_cfg.get(max_tokens, 2048) } try: async with session.post(url, headersheaders, jsonpayload, timeout120) as resp: data await resp.json() content data[choices][0][message][content] return {ok: True, content: content} except Exception as e: return {ok: False, error: str(e)} def score(task, content): if task[score_type] contains: hit sum(1 for kw in task[expected_keywords] if kw in content) return hit / len(task[expected_keywords]) if task[score_type] length_range: n len(content) if task[min_len] n task[max_len]: return 1.0 return 0.0 return 0.0 async def main(): with open(models.json, encodingutf-8) as f: models json.load(f)[models] with open(eval_config.json, encodingutf-8) as f: tasks json.load(f)[tasks] results [] async with aiohttp.ClientSession() as session: for model in models: for task in tasks: r await call_model(session, model, task) if r[ok]: s score(task, r[content]) results.append({ model: model[alias], task: task[id], category: task[category], score: s, content_preview: r[content][:120] }) else: results.append({ model: model[alias], task: task[id], category: task[category], score: 0.0, error: r[error] }) ts datetime.now().strftime(%Y%m%d-%H%M%S) out feval_result_{ts}.json with open(out, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(fdone - {out}) if __name__ __main__: asyncio.run(main())依赖只有aiohttp装一下就能跑pip install aiohttp python run_eval.py这套配置的关键点在于模型参数和评测任务完全解耦加模型只改models.json加题目只改eval_config.json脚本本身不用动。这就是统一 Key 带来的好处——请求层稳定变化都收敛在配置里。如果你用的是 Claude Code 这类工具做辅助开发可以在 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 找到接入方式把评测脚本的调试也纳入统一通道。不过评测脚本本身不依赖特定编辑器命令行跑就够了。4. 验证请求与结果校验把周报结论跑成自己的数据脚本跑起来之后先别急着看总分先确认请求真的成功了。打开生成的eval_result_*.json检查有没有error字段。如果某个模型全部报错大概率是模型 ID 写错或者该模型当前不可用。一个正常的成功结果长这样{ model: glm-4.7, task: code-001, category: coding, score: 1.0, content_preview: def two_sum_pairs(nums, target):\n seen {}\n res set()\n for i, v in enumerate(nums):\n ... }如果content_preview是空的或者 score 全是 0先看原始返回。可以在脚本里加一个 debug 开关把完整 response 打出来。常见情况是模型返回了 markdown 代码块包裹的内容关键词匹配仍然能命中但如果你的评分逻辑要求纯代码就需要先剥离代码块标记。结果汇总可以用一段小脚本按模型和类别求平均分import json from collections import defaultdict with open(eval_result_20251227-120000.json, encodingutf-8) as f: results json.load(f) agg defaultdict(lambda: defaultdict(list)) for r in results: agg[r[model]][r[category]].append(r[score]) for model, cats in agg.items(): line f{model:20s} for cat in [coding, math, text]: scores cats.get(cat, []) avg sum(scores) / len(scores) if scores else 0 line f {cat}{avg:.2f} print(line)跑出来的表格大概是这样模型codingmathtextglm-4.71.000.671.00minimax-m2.11.000.331.00gemini-3-flash0.671.001.00deepseek-v3.20.671.000.67grok-code-fast-11.000.331.00这张表就是你自己的「周报」。它跟官方榜单不会完全一致因为题目不同、评分不同、参数不同。但它的价值在于你能看到在自己关心的任务上哪个模型更稳。比如周报里 GLM-4.7 的 SWE-Bench 很高你本地 coding 题也拿了满分说明它在代码任务上确实值得优先试而 math 题上 gemini-3-flash 和 deepseek-v3.2 表现更好跟周报里 Gemini 3 Flash 在 Text Arena 靠前、DeepSeek-V3.2 在 FrontierMath 超过 Kimi K2 Thinking 的方向是一致的。校验环节还要做一件事把同一道题重复跑 3 次看分数波动。大模型输出有随机性temperature 设 0.2 也不能保证完全确定。如果某个模型三次分数差异很大说明它在你的任务上不稳定选型时要谨慎。可以在脚本里加一个repeat参数对每个模型-任务组合跑多次取平均。{ repeat: 3, tasks: [...] }然后在主循环里套一层 for。这样得到的分数比单次更有参考价值。另外如果你想把评测结果跟周报里的排名做对照建议单独维护一个weekly_rank.json把周报里的关键排名记下来比如{ week: 2025-12-27, text_arena_top3: [gemini-3-flash, grok-4.1-thinking, ...], swe_bench_open_source_top: glm-4.7, multi_swe_bench_sota: minimax-m2.1, frontier_math_note: deepseek-v3.2 22.1% 超过 kimi-k2-thinking }这样每次跑完本地评测可以自动生成一段对照说明哪些结论一致、哪些有差异、差异可能来自哪里。这才是「把周报变成自己的验证流程」的完整闭环。5. 常见报错排查401、local proxy failed、reading choices跑评测脚本时报错基本集中在几个地方。这一节按真实遇到的错误来排查。401 Unauthorized。最常见的原因是 Key 没设进环境变量或者复制时带了换行和空格。先确认echo $TAOTOKEN_API_KEY | head -c 10如果输出不是sk-开头说明变量没生效。另一个原因是 Key 被禁用或额度用尽去控制台 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 检查 Key 状态和余额。注意请求头必须是Authorization: Bearer sk-xxx少一个空格也会 401。local proxy failed / connection refused。这个报错通常出现在你本地有网络层工具拦截了请求或者 base_url 写成了http://而不是https://。先确认TAOTOKEN_BASE_URL是https://taotoken.net/api没有多余路径。如果公司网络有出口限制换一个网络环境再试。脚本里 aiohttp 的 timeout 设 120 秒如果网络慢导致超时也会报类似的连接错误可以适当调大。reading choices 报错 / KeyError: choices。这说明返回的 JSON 里没有choices字段通常是请求体格式不对或者模型返回了错误信息。先把完整 response 打出来data await resp.json() print(json.dumps(data, ensure_asciiFalse, indent2))常见情况有三种一是model字段写了一个不存在的模型 ID返回{error: {message: model not found}}二是messages格式不对比如漏了role三是max_tokens超过了该模型上限返回参数错误。对照文档里的模型列表和参数说明逐个核对。OAuth / 鉴权相关报错。如果你在 Claude Code 或类似工具里配置 TaoToken遇到 OAuth 报错说明工具在尝试走它自己的登录流程而不是用你配的 Key。这时候要检查工具的配置文件确保 Base URL、API Key、Model ID 三件套都指向 TaoToken。以 Claude Code 为例配置文件里需要明确写{ base_url: https://taotoken.net/api, api_key: sk-你的Key, model: glm-4.7 }三件套缺一不可。只配了 Key 没配 Base URL工具会走默认端点只配了 Base URL 没配 Model ID工具不知道调哪个模型。Cline MCP 和 Codex 的 auth.json 也是同样的逻辑Base URL、Key、Model ID 都要写全。结果全是 0 分。脚本没报错但所有模型所有题都是 0 分先检查评分函数。如果expected_keywords里的词在模型输出里确实出现了但 score 还是 0可能是编码问题导致中文匹配失败。确保读写文件都用encodingutf-8。另一个可能是模型返回的内容被截断了max_tokens太小代码没输出完关键词自然匹配不上。把max_tokens调到 2048 或更高再试。并发过高导致部分请求失败。如果模型数量多、题目多一次性并发几百个请求可能触发限流。脚本里可以加一个信号量控制并发数sem asyncio.Semaphore(5) async def call_model(session, model_cfg, task): async with sem: ...把并发控制在 5 到 10 之间既不会太慢也不容易触发限流。如果还是失败看返回里的error字段如果是 rate limit就再降并发或加 sleep。排查完这些脚本基本就能稳定跑了。记住一个原则先让单个模型单道题跑通再扩到多模型多题目。不要一上来就全量跑出了问题很难定位。6. 把周报变成长期流程统一 Key 与 Coding Plan 的配合跑通一次评测之后真正有价值的是把它变成每周可重复的流程。周报每周更新你的评测脚本也可以每周跑一次用同一套题目对比模型变化。这样你手里就有一份自己的时间序列数据而不是每次都被榜单牵着走。具体做法是把models.json和eval_config.json纳入版本管理每次周报出来后更新模型列表和备注然后跑一次全量评测把结果按周存档。几周之后你就能看到某个模型是真的在进步还是只是某次评测的波动。长期跑评测对调用量的需求会上升这时候 Coding Plan 比按次调用更合适。入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 适合需要反复跑批量任务的场景。如果你只是偶尔验证一两个模型按次调用就够了。模型对话入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 可以用来快速试 prompt确认题目本身没有歧义再放进评测脚本。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 模型 ID 和参数以文档为准。API Keys 管理在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 建议给评测单独建一个 Key方便统计用量和随时吊销。最后给一个实用技巧在评测脚本里加一个--dry-run参数只打印将要发送的请求不实际调用。这样在改配置的时候可以先检查一遍避免因为一个拼写错误跑完几百个请求才发现问题。这个习惯能帮你省下不少调试时间。
