安全上线指南:hermes-jev-skills 从影子模式到全量,不破坏任何东西的 8 条纪律

发布时间:2026/10/15 16:53:17

安全上线指南:hermes-jev-skills 从影子模式到全量,不破坏任何东西的 8 条纪律 【免费下载链接】hermes-jev-skillsJev-powered model routing, memory, compaction, skill selection, computer and browser use for Hermes agents (also Claude Code and Codex)项目地址https://gitcode.com/gh_mirrors/he/hermes-jev-skills点击查看免费下载hermes-jev-skills 是一个为 Hermes 智能体也兼容 Claude Code、Codex提供 Jev 决策模型的开源工具包模型路由、记忆过滤、技能选择、搜索、网页筛查等小决定交给每次仅几分钱的决策引擎让昂贵的模型专心写作。但这类每个回合都运行的功能有一个陷阱一处运行失败意味着处处失败。本指南浓缩了该项目在真实生产机队中用真金白银换来的 8 条上线纪律教你如何从影子模式shadow mode安全走到全量开启不破坏任何东西。运行jev dashboard可看到上图一个开关控制 Jev 路由每个模型池按工作类型分格展示每条决策层级、模型、置信度、延迟实时滚动——影子模式的决策在这里一目了然。为什么安全上线是个硬问题一个反面教材第一版模型路由策略上线前感觉不错影子模式一开它把89% 的回合升级到了最昂贵的模型档——若直接全量成本将从每周 $140 涨到 $1,014约 7 倍。影子模式是唯一让它没花一分钱就被发现的原因。核心逻辑很简单没有人会认真审查一个看起来已经正确的策略所以审查必须发生在它还不起作用的时候。以下 8 条纪律完整出处见 docs/turning-a-jev-feature-on.md。纪律一先影子模式而且是认真的给每个功能三档开关默认停在中间档模式做决策记录日志改变行为off否否否shadow是是否on是是是影子模式下你支付全部成本和延迟换来一份完整的它本来会做什么日志而系统行为与昨天完全一致。之后由人读一批日志决定是否值得开启。Hermes 里对应的命令就是/jev routing shadow只决策记录、不切换→/jev routing on真正切换。纪律二先校验你的基准再相信数字技能选择器第一次评测只得4/8眼看就要被判不达标。但复核后发现基准本身错了两次测试框架忘了传入该档案的禁用技能列表且部分标签本身就是错的下次会议几点被标为不需要技能显然需要日历技能。修正框架后同一个选择器得分7/8零误报。教训烂框架和烂模型从外面看一模一样。在信任一个令人失望的分数之前先重新推导它测试是否按生产方式运行代码标签能否经得起反驳纪律三能默认为关闭的配置项一定会默认为关闭某机密交接模式最初挂在一个插件配置键上。宿主环境没有插件配置 API查询抛异常、异常处理器吞掉、配置静默回落到默认值——关闭——结果客户数据被违反规则写入磁盘。这是同一项目里第三次静默默认值事故。对策对绝不能静默失败的开关用标记文件做最终依据——文件存在即开启一条ls就能证明任何异常处理器都吞不掉它。配置键可以保留但绝不能是唯一的回答。纪律四没有报错不等于在运行某次部署中插件已在配置里启用、代码正确、目录存在、日志零报错——但它一次都没运行过因为插件发现机制扫描的是档案目录插件却装在了根目录。唯一的证明是枚举当前生效项的命令hermes plugins list # 插件是否已加载 hermes -p profile doctor # 工具是否真的对模型可用日志不会告诉你一个从未启动的功能。去问那个必须回答的对象。纪律五在真实运行环境里验证而不是在你的终端里单元测试和手动命令都会在你的交互会话里通过——你有环境变量、PATH 和已解锁的钥匙串而调度器什么都没有。分诊triage功能的诚实测试是取一条已处理过的良性消息标回未处理让launchd 自己跑一个周期读它写的记录。只有调度器启动的任务写出sent_to_jev: true才真正证明了密钥库在代码实际运行的位置可达。此前的一切都只是关于你的 shell 的证据。参考实现见 scripts/triage_adapter.py。纪律六延迟才是落在每个回合上的成本单次调用价格是别人引用的数字延迟才是用户感受到的数字。技能选择器每次 $0.0003 很便宜却给每个回合包括一句好的加上 2.8 秒。解法大多数聊天回合是确认语答案永远是不需要技能于是本地免费回答。加上本地快速判断后平均新增延迟从约 2800ms 降到773ms三分之二的回合完全不碰网络。注意不对称性错误地跳过只是功能静默没做事错误地去问只花半分之一的便士——所以本地词表保持窄而保守不认识的一律交给 Jev。纪律七交付实现而不只是流程描述jev-browser-use交付了技能文档和可执行脚本jev-computer-use只交付了 SKILL.md。结果机队上的一个智能体读到它、找不到实现于是做了技能明确禁止的事即兴发挥从零手写了一个 500 行的 GUI 控制脚本。活儿干得不错但本不该发生。如果按流程描述走到底需要一个脚本就把脚本一起交付或者在技能里明说没有脚本此时该怎么做。纪律八Fail-open失败即放行否则就别上线管道在你的功能出现之前就能工作那么你的功能坏了它也必须能工作无密钥、无网络、超时、回复格式错误、回复自相矛盾、工具链未安装——每一种情况都必须以工作恰好像没有这个功能时一样完成收尾进程退出码为 0。所有入口点返回None而不是抛异常调用方把None读作没有意见。功能fail-open 行为模型路由保持当前模型记忆过滤返回原始列表压缩选择不删任何回合技能选择不推荐任何技能GUI / 浏览器操作返回reobserve重新观察分诊器是工作的意见绝不是工作的依赖。一个时刻能阻止邮件被收取的分类器会让系统比它替换掉的正则表达式更糟。一个容易漏掉的推论用时钟而不仅是数量来约束工作。分诊每轮限 40 条 6 秒超时最坏 240 秒超过了父进程 180 秒就杀掉的预算——中途被杀会丢掉已标记的邮件。数量上限感觉像限制但并不是。从影子到全量的晋升标准影子日志不是终点。对命令闸门这类决策策略docs/shadow-to-live.md 给出了完整闭环用自己的历史构建评测行jev batch --policy retry --in rows.jsonl先出估算、不发送跑影子报告jev shadow report输出混淆矩阵、最关键的一类错误、以及每条晋升标准PASS/FAIL/UNKNOWN——UNKNOWN永远不算通过免费调参复制策略到本地覆盖文件改阈值用--rescore对新规则重评旧答案不发请求阈值在一批数据上挑在另一批上验收只在PASS之后先影子再全量。让系统开始行动的那个开关永远是人来按的。命令闸门的红队评测集118 条命令目标false approves 为零见 evals/gate/README.md策略文件都在 jevkit/policies/。 快速参考三档开关/jev routing shadow起步/jev看状态/jev routing on all设为全局默认单档案设置仍然优先全量前先读 docs/turning-a-jev-feature-on.md就是本文 8 条纪律原文多智能体机队docs/using-jev-in-a-hermes-fleet.mdfail-open 不是绕行、阈值不许静默漂移用真实流量回放路由docs/measuring-a-router.mdjev replay turns.jsonl只调 Jev、不碰路由模型几百个回合只要几分钱安装git clone https://gitcode.com/gh_mirrors/he/hermes-jev-skills ~/hermes-jev-skills python3 ~/hermes-jev-skills/install.py然后jev setup-key配置密钥记住一句话让 Jev 做选择、排序和把关在它能生效之前它只能记录。影子模式一天就是机队能买到的最便宜、最诚实的证据。赞分享【免费下载链接】hermes-jev-skillsJev-powered model routing, memory, compaction, skill selection, computer and browser use for Hermes agents (also Claude Code and Codex)项目地址https://gitcode.com/gh_mirrors/he/hermes-jev-skills点击查看免费下载相关推荐SkiaSharp 问题复现技能反模式全指南26 条红线与可验证的复现纪律SkiaSharp 问题复现技能反模式全指南26 条红线与可验证的复现纪律 SkiaSharp 仓库内置的 issue repro 技能 .agents/s图形学图像处理跨平台Mongoose 8 升级迁移指南从 7.x 到 8.x 的全面破坏性变更解析Mongoose 8 升级迁移指南从 7.x 到 8.x 的全面破坏性变更解析 从 Mongoose 7.x 升级到 8.x 引入了一系列破坏性变更back数据库后端Telegraf 指标格式变更安全指南如何不破坏现有用户的数据与查询Telegraf 指标格式变更安全指南如何不破坏现有用户的数据与查询 本篇技术指南以 Telegraf 仓库中的 METRIC_FORMAT_CHANGES.可观测性指标监控运维创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/10/15 16:53:17

WorkBuddy 搭建教程:从零开始配置你的 AI 工作助手

1. 引言 WorkBuddy 是一款面向开发者和团队的开源 AI 工作助手,它通过自然语言交互帮助用户完成代码生成、任务编排、文档处理等日常开发工作。本文将从环境准备、安装部署到基础配置,带你一步步完成 WorkBuddy 的本地搭建。 2. 环境准备 在开始安装之前,请确保你的机器满…

2026/10/15 16:53:17

Python驱动OpenSees:参数化建模与非线性分析实战指南

简介:本资源是一套面向结构工程与地震工程方向的OpenSees算例合集,重点演示Python语言在OpenSees建模、分析与后处理中的实际应用,适合具备一定编程基础、希望摆脱Tcl命令式操作、提升建模效率的工程师与研究生学习参考。压缩包共91个文件&am…

2026/10/15 17:38:42

CAN总线驱动开发实战:位定时计算、邮箱状态机与错误自愈

简介:本资源为GD32F30x系列MCU平台下的CAN总线驱动完整实现工程,面向嵌入式开发工程师、汽车电子与工业控制领域初/中级开发者,解决CAN通信底层驱动开发、调试与移植中的核心问题。压缩包含710个文件,主体为198个.o目标文件、199个…

2026/10/15 17:38:41

STM32H7 CAN寄存器级驱动实现与时序精准控制

简介:本资源为GD32F30x系列MCU平台的CAN总线驱动完整实现工程,面向嵌入式开发工程师、高校电子/自动化专业学生及汽车电子初学者,聚焦CAN通信底层驱动开发核心能力培养。资源涵盖CAN协议栈关键模块:硬件初始化、波特率精确配置、I…

2026/10/14 11:31:03

Python调用Gemini Structured Outputs实现工单路由门禁

客服工单最怕的不是模型“答错一句话”,而是它给出一段看起来合理的说明,程序却从中猜错优先级。通俗做法是:要求模型只交 JSON(JavaScript Object Notation,轻量数据格式),再让代码验证它。Gem…

2026/10/14 17:41:07

Spring Boot超市进销存系统毕设实战:从需求拆解到答辩通关

最近带的一个学生项目组里,有A同学跑来问我:选什么毕设题目最稳妥,既能让评审老师觉得工作量够,又不会在答辩时被问到语无伦次。我第一反应就是推荐基于Spring Boot的超市仓库管理系统——也就是超市进销存系统。这个题目乍一看平…

2026/10/15 13:42:16

Flutter StatefulWidget 生命周期核心解析

很多刚开始接触 Flutter 的朋友,在看完一堆“Hello World”和基础组件之后,大概率都会撞上同一堵墙:StatefulWidget 里那堆 initState、build、dispose 方法,到底什么时候被调用?为什么顺序是那样?在里面到…

2026/10/15 0:02:22

防关联浏览器哪个好?三款产品实测差异解析

新手做多店铺,最纠结的就是防关联浏览器选哪个。飞跨、网易、站斧这三款被问得最多,先给结论:要一体化省心、长期便宜,选站斧;要网易招牌和稳,选网易;预算紧做东南亚 Lazada,选飞跨。…

2026/10/15 0:02:22

影刀RPA深度实战:大模型Fine-tuning定制RPA专用Prompt与指令生成

影刀RPA深度实战:大模型Fine-tuning定制RPA专用Prompt与指令生成 一、技术背景 大模型(LLM)在通用场景下表现强大,但当我们将 GPT-4 或 Qwen 直接用于生成影刀RPA操作指令和 XPath 定位时,准确率通常只有 40%-60%。原因…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑