用AgentENV训练Terminal-Bench-2:搭建Agent强化学习的沙箱后端

发布时间:2026/11/19 3:05:33

用AgentENV训练Terminal-Bench-2:搭建Agent强化学习的沙箱后端 用AgentENV训练Terminal-Bench-2搭建Agent强化学习的沙箱后端【免费下载链接】AgentENVAgentENV (AENV) is a distributed platform for running agent environments at scale.项目地址: https://gitcode.com/gh_mirrors/age/AgentENVAgentENVAENV是一个用于大规模运行 Agent 环境的分布式沙箱平台也是 Kimi K3 的 agentic RL 训练所依赖的后端。本文带你用 4 个步骤把 AgentENV 搭建成 Terminal-Bench-2 训练的沙箱后端部署平台、对接 E2B 兼容 API、接入训练框架 Miles最终让每个训练 episode 都运行在独立的 Firecracker microVM 里。为什么用 AgentENV 做强化学习的沙箱后端Terminal-Bench-2 不同于只给提示词的评测数据集——每个任务都包含一个环境、一段指令和一套判定测试Agent 必须在真实终端里完成文件操作、命令执行等软件任务。这意味着训练框架需要一个能成百上千个并发拉起、隔离又快速的沙箱环境。AgentENV 恰好为此设计详见 README.md能力对 RL 训练的意义大规模 Firecracker microVM 隔离每个 episode 一个独立 VM互不污染快照启动/恢复 50ms、暂停 100ms空闲沙箱可快速释放资源成本可控增量快照 分叉fork同一环境可并行复制到多条 rolloutoverlaybd 按需加载 OCI 镜像镜像总量可远超本地磁盘集群冷启动依然快E2B 兼容 API无需改代码即可接入 Miles / OpenEnv 等框架它的架构是API 层接收请求 → src/orchestrator/ 中的编排器管理沙箱生命周期 → 每个沙箱是一个带独立内核与网络栈的 Firecracker VMsrc/sandbox/firecracker/sandbox.rs块设备层由 overlaybd ublk 提供高性能 I/Ostorage/ublk/。先搞懂三个核心概念模板、沙箱、快照在动手前用 30 秒理解 AgentENV 的三个术语完整说明见 docs/src/concepts/overview.md模板Template从 OCI 镜像或 Dockerfile 构建的可复用起点一条命令aenv pull ubuntu:22.04 --name ubuntu即可把 Docker Hub 镜像变成模板沙箱Sandbox由模板启动的运行中的隔离 Linux 环境Agent 在里面执行命令、修改文件快照Snapshot对沙箱的持久化检查点可反复启动新沙箱也是环境分叉的基础。日常操作都通过aenvCLI 完成aenv start / exec / pause / resume / delete命令参考 docs/src/getting-started/aenv-cli/sandboxes.md。第一步一键安装 AgentENV 服务器前置要求只有一个Linux 内核 6.8 且支持 KVM/dev/kvm。curl -fsSL https://raw.githubusercontent.com/kvcache-ai/AgentENV/main/scripts/install.sh | sudo bash sudo systemctl start aenv安装脚本scripts/install.sh会自动完成/dev/kvm权限配置、加载 ublk 内核模块并下载 Firecracker、内核等运行资产。服务器默认监听http://127.0.0.1:8000可用curl http://127.0.0.1:8000/health验证健康状态。 更喜欢容器化也可以docker pull ghcr.io/kvcache-ai/aenv-server:latest后直接运行镜像单节点 Docker / 多节点部署方式见 docs/src/deployment/ 中的部署章节与 deploy/docker-compose.yml。验证成功后拉一个模板试跑沙箱aenv auth # 粘贴 /var/lib/aenv/secrets/api-key 中的密钥 aenv pull ubuntu:22.04 --name ubuntu aenv start ubuntu # 启动沙箱并进入交互式 shell第二步暴露代理端口让沙箱可被外部访问训练框架需要把沙箱当作带 URL 的远程环境来使用。用 Docker 启动时请同时发布 8000 和 80 端口并把AENV_SANDBOX_PROXY_DOMAINS指向该主机 IP 对应的 sslip.io 域名IP 中每个.换成-docker run -d --name aenv --privileged -v /dev:/dev \ -p 8000:8000 -p 80:8000 \ -e AENV_SANDBOX_PROXY_DOMAINSip-with-dashes.sslip.io \ ghcr.io/kvcache-ai/aenv-server:latest所有服务级配置项都记录在 docs/src/configuration/env-vars.md。第三步把 Miles OpenEnv 指向 AgentENVMiles 是大规模模型后训练的 RL 框架OpenEnv 提供任务交互与评测接口而 AgentENV 负责跑每个 episode 的隔离沙箱。关键在E2B 兼容层只需设置几个环境变量官方 E2B SDK 就能直接对接 AgentENV原理见 docs/src/integration/e2b.mdpip install e2b export E2B_API_URLhttp://server:8000 export E2B_SANDBOX_URLhttp://server:8000 export E2B_API_KEYyour-api-key # 即 aenv auth 用的密钥 export OPENENV_E2B_URL_SCHEMEhttp # 本部署走纯 HTTP⚠️ 提示API key 只负责认证、不加密流量请把这套纯 HTTP 部署放在可信内网或在反向代理上终结 HTTPS。然后准备数据按 Miles 官方的 OpenEnv 配方克隆 Miles、OpenEnv 与 Terminal-Bench-2 仓库可在可信网络中从源码镜像获取安装tbench2_env环境包并用make_tbench2_data.py把任务目录转换成本地 JSONL 训练集。加--n 8可先跑一个 8 条任务的小规模冒烟子集。第四步启动 Terminal-Bench-2 的 GRPO 训练一切就绪一条命令开始训练export OPENENV_TB2_TASKS_DIR$(realpath ./terminal-bench-2) OPENENV_SANDBOX_BACKENDe2b \ python ./miles/examples/experimental/openenv/run-openenv-tbench2.py启动器会为每个 episode 创建一个 AgentENV microVMOpenEnv 在沙箱内执行任务交互任务自带的测试套件跑出标准结果该结果直接作为 GRPO 的奖励信号返回训练框架。整个闭环里AgentENV 就是那个随开随用、用完即走的终端执行环境。完整训练配置与运维注意事项参见仓库内的官方用例文档 docs/src/use-cases/miles.md。常见问题速查Q为什么不用普通 Docker 容器当沙箱Docker 共享宿主内核隔离性弱RL 训练中一个失控的 Agent 进程可能影响同机的其他 episode。AgentENV 的 Firecracker microVM 为每个沙箱提供独立内核与网络栈隔离强度接近云主机。Q单机能同时开多少沙箱取决于 CPU/内存与磁盘。AgentENV 通过共享宿主页缓存、ublk 高性能 I/O 与内存气球ballooning回收闲置内存生产环境曾实现 9.6 倍的内存超分比密度远高于每沙箱独立镜像的传统做法。Q多节点集群怎么扩官方提供 Docker Compose 多节点模拟、静态多节点与 Kubernetes 三种部署路径deploy/k8s/ 内含完整清单调度器与网关会自动把沙箱请求分发到有资源可用的节点。Q快照数据会不会丢快照可持久化到 S3 兼容对象存储或共享分布式文件系统节点重启不丢数据相关实现见 src/snapshot/ 与 docs/src/troubleshooting/common-issues.md。写在最后回到开头的问题如何为 Agent 强化学习搭建一个既能横向扩展、又足够隔离的沙箱后端答案就是 AgentENV E2B 兼容 API 的组合一行脚本部署 AgentENV 服务器README.md Quick Start暴露代理端口让沙箱 URL 对外可达用 4 个环境变量把 Miles/OpenEnv 指向它跑run-openenv-tbench2.py让每个 episode 都在独立 microVM 中接受 Terminal-Bench-2 的考验。从此你的 Agent 训练循环不再被环境启动速度和隔离安全拖慢——沙箱即资源随开随用。【免费下载链接】AgentENVAgentENV (AENV) is a distributed platform for running agent environments at scale.项目地址: https://gitcode.com/gh_mirrors/age/AgentENV创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/19 10:27:14

Python数据可视化 Pyecharts 制作 WordCloud 词云图

词云图通过直观的视觉效果展示了文本数据中词汇的频率分布,词汇频率越高,字体的大小越大。 本文介绍了如何使用pyecharts库中的WordCloud类生成自定义词云图,并通过一系列配置选项实现词云的定制化。WordCloud类提供了丰富的自定义功能,用户可以灵活调整词汇的排列方式、字…

2026/11/19 10:26:28

成都建站平台怎么选?搞懂域名服务器,性能优化才不踩坑

成都建站平台怎么选?搞懂域名服务器,性能优化才不踩坑 域名买错类型,服务器选错配置,这是80%新手在接触成都建站平台时最容易翻车的两个地方。很多老板以为建站就是找个公司做个页面,结果上线后访问慢、备案难、甚至因为SSL证书没配好被浏览器标红…

2026/11/19 10:27:13

网页图片另存为的时候保存不了jpg?5个方案对比评测

网页图片另存为的时候保存不了jpg?5个方案对比评测 备案流程一头雾水?很多老板建站时卡在ICP备案,但更隐蔽的坑在图片加载。你辛辛苦苦做的官网,用户右键“图片另存为”却死活存不下jpg,甚至存成损坏文件。这不是浏览器bug,是你网站架构的…

2026/11/19 23:40:19

阆中电工证年审政策怎么报名?电工证没年审就失业了

阆中电工证年审政策怎么报名?电工证没年审就失业了 你是不是正在为找工作发愁?特种作业证不年审,企业就不敢要你,连入职资格都没了。这年头,电工证在各行各业都挺吃香,尤其是在建筑、电力、制造这些行业。但很多人不知道,电工证不是一考了事,还得定期…

2026/11/19 23:40:19

电工低压电工证图片通过率揭秘:南阳卧龙区市政工人避坑全攻略

电工低压电工证图片通过率揭秘:南阳卧龙区市政工人避坑全攻略 你是不是也在网上看到一堆【电工低压电工证图片】,不知道哪个是真的?报名的时候又被各种中介忽悠,不知道哪个靠谱?别急,我来告诉你一个真实的案例,从南阳卧龙区一位市政工人的经历说起,让…

2026/11/19 23:40:19

三河安监局电工证怎么转异地官方回应来了

三河安监局电工证怎么转异地官方回应来了 不知道去哪报名怕被中介坑?现在很多人手上拿着 三河安监局电工证 ,但因为工作变动、异地发展等原因,想要把证书转到其他地区,却不知道怎么操作,更怕被中间人“坑钱”。别急, 官方回应…

2026/11/19 23:40:19

中国电工证考试试题怎么网上查询?别再被中介坑了

中国电工证考试试题怎么网上查询?别再被中介坑了 你是不是也遇到过这样的情况?手上拿着一堆电工证考试试题,却不知道去哪里报名?网上查了又查,还是被各种中介信息绕晕?别急,这篇文章就帮你理清思路,告诉你怎么在网上查询中国电工证考试试题,怎么避开…

2026/11/19 23:40:19

电工证怎么考才能复审?通过率揭秘!工地太忙根本没时间复习考试

电工证怎么考才能复审?通过率揭秘!工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这几乎是每个一线电工在复审时最头疼的问题。尤其是像洛阳这样的城市,建筑施工项目集中,工期紧、任务重,让很多持证人员只能边工作边准备考试,时间紧、任务重…

2026/11/19 23:35:19

安徽考电工证国家补助电子证书怎么查?实操考试心里没底怕挂科

安徽考电工证国家补助电子证书怎么查?实操考试心里没底怕挂科 实操考试心里没底怕挂科?尤其是对安徽的学员来说,考电工证不仅要面对严格的实操考核,还要清楚国家补助政策和电子证书查询方式。很多学员在报名前都会担心,自己是否真的能顺利通过考试,拿到…

2026/11/19 22:14:34

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/18 21:55:23

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/19 0:04:42

深圳电工证培训考场模拟考试题库:郑州报考避坑指南

深圳电工证培训考场模拟考试题库:郑州报考避坑指南 证书过期了不知道怎么复审延期,很多人在遇到这个问题的时候才意识到特种作业证的重要性。其实,不管是电工证、焊工证还是高处作业证,这些证书不仅是上岗的“通行证”,更是法律对安全操作的硬性要求。尤…

2026/11/19 0:04:42

天津电工证查询入口多少钱能报上名

天津电工证查询入口多少钱能报上名 学历不高怕报不上名?别急,天津电工证查询入口其实没你想的那么难。今天咱们就来聊聊,怎么用最低的门槛、最少的钱,把电工证拿下来,还能查得到、用得上。 电工证到底值不值?先搞清楚它的作用…

2026/11/18 12:37:05

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/19 17:18:32

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑