如何将 TRL GRPO 与 OpenEnv 环境集成训练有状态的 Agentenvironment_factory【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl本文解决的问题是在 TRL 中用GRPOTrainer训练一个有状态的 Agent——模型在多轮对话中调用工具环境的输出会随 Agent 的历史动作变化比如走棋、猜词、浏览页面。TRL 的 OpenEnv 集成文档 给出的方案是把 OpenEnv 环境包进一个普通的 Python 类通过GRPOTrainer的environment_factory参数传入训练器会自动处理生成、解析工具调用、执行工具、回传结果的多轮循环你不需要自己写 rollout 代码。前提条件environment_factory需要transformers5.2.0GRPO 指南 的 Agent Training 章节明确要求。需要能访问 OpenEnv 环境服务器Hugging Face Space、Docker 容器或本地进程下文给出三种运行方式。先判断什么时候该用 environment 而不是 toolsGRPOTrainer的 Agent 训练支持两种模式docs/source/openenv.md“When to use environments”tools每次调用是无状态、相互独立的计算器、搜索。environments在轮次之间保持状态Agent 的动作会影响后续观察。当连续性重要时才用 environment例如在导航游戏、浏览网页等任务中Agent 下一步看到什么取决于它之前做了什么。两者也可以组合可以同时传独立的tools和environment_factory。准备安装 TRL 与环境客户端包先安装 TRL 本体pip install trl然后安装具体环境的客户端包。OpenEnv 环境以 Hugging Face Spaces 托管同时也是可直接pip install的 Git 仓库docs/source/openenv.md“Installation”# Echo environment pip install openenv-echo-env githttps://huggingface.co/spaces/openenv/echo_env # Wordle (TextArena) environment pip install openenv-textarena githttps://huggingface.co/spaces/openenv/wordle # Catch (OpenSpiel) environment pip install openenv-openspiel-env githttps://huggingface.co/spaces/openenv/openspiel_env这会安装环境客户端如EchoEnv它通过 WebSocket 与远程环境服务器通信同时装上 action/observation 模型和所有必需依赖包括openenv本身。如果某个环境的 Space 不在上面可以在其 HF Space 页面点击⋮三个点菜单 → Use this Space查看安装命令。也可以只装核心包pip install openenv[core]0.3.1但环境特有的依赖可能需要单独安装。另一种省事的方式TRL 的示例脚本内嵌了 PEP 723 依赖元数据用 uv 可直接运行依赖会装进隔离的虚拟环境uv run examples/grpo_echo/grpo_echo.py注意示例脚本 grpo_echo.py 内嵌的依赖指向qgallouedec/echo_env这个 Space而上面文档给出的安装命令指向openenv/echo_env两者都是 Echo 环境脚本内--env-host的默认值也是https://qgallouedec-echo-env.hf.space。用哪一侧保持安装与 URL 一致即可或直接用--env-host覆盖。运行环境服务器使用environment_factory时训练器会自动连接环境服务器你只需要保证服务器在运行。文档给出三种方式方式一连接远程 HF Space最简单。多数示例脚本默认指向托管的 Space例如env EchoEnv(base_urlhttps://openenv-echo-env.hf.space)但文档明确警告用于训练时应把 Space 复制到你自己的账号下因为训练器会同时打开 N 条 WebSocket 连接每条生成一条共享 Space 未必支持这种并发。方式二Docker 容器文档推荐用于生产。以 Echo 为例把宿主机 8001 端口映射到容器 8000 端口目的是把 8000 留给 vLLM 服务器docker run -d -p 8001:8000 --platform linux/amd64 registry.hf.space/openenv-echo-env:latest然后客户端连接env EchoEnv(base_urlhttp://0.0.0.0:8001)也可以不手动拉容器让客户端程序化启动EchoEnv.from_docker_image(registry.hf.space/openenv-echo-env:latest)。任意 Space 的 Docker 镜像可以在其 Hub 页面⋮ → Run locally找到。方式三本地 Python 进程适合开发hf download openenv/echo_env --repo-typespace --local-direcho_env python -m uvicorn echo_env.src.envs.echo_env.server:app --host 0.0.0.0 --port 8001命令来自文档原文hf download会把 Space 仓库下载到本地目录echo_env然后以 uvicorn 启动服务。连接方式与 Docker 方式相同base_urlhttp://0.0.0.0:8001。编写符合 environment_factory 契约的环境类docs/source/openenv.md 规定环境类必须满足以下规则__init__(self)可选如果提供不能接受任何参数。需要外部配置比如 URL时从外层作用域或模块级变量捕获。reset(self, **kwargs)每个 episode 开始时被调用数据集的列会作为关键字参数传入。返回字符串观察或None表示无初始观察。工具方法除reset外的任何公共方法不以_开头都会自动暴露为工具。每个工具方法必须有带Args:描述的 docstring 和类型标注训练器用它们生成工具的 schema。文档特别强调工具必须是具名的独立方法如guess(word: str)、move(direction: str)不建议用step(action)这类通用方法因为模型需要有意义的工具名和参数描述才能学会调用。两个写状态的关键技巧同文档 “Tips for environment classes”用实例属性保存奖励状态self.reward、self.done等供奖励函数通过environments参数读取。用异常表示非法动作或 episode 结束如果工具方法抛出异常如ValueError(Game over.)训练器会捕获它并把错误信息作为工具响应回传给模型。这是文档推荐的信号方式模型会学会收到该信号后停止调用工具。最小完整示例Echo 环境下面是 docs/source/openenv.md “Quick start” 的完整示例。Echo 环境把消息原样回显并按文本长度给出奖励适合验证整条链路from datasets import Dataset from echo_env import EchoEnv from echo_env.models import EchoAction from trl import GRPOConfig, GRPOTrainer ENV_URL https://openenv-echo-env.hf.space class EchoToolEnv: def __init__(self): self.env EchoEnv(base_urlENV_URL) self.reward 0.0 def reset(self, **kwargs) - str | None: self.reward 0.0 return None def echo(self, message: str) - str: Echo the message back from the environment. Args: message: The message to echo Returns: The echoed message. observation self.env.step(EchoAction(messagemessage)) self.reward observation.observation.reward return observation.observation.echoed_message def reward_func(environments, **kwargs): return [env.reward for env in environments] dataset Dataset.from_dict( {prompt: [[{role: user, content: Try to echo Hello World! in the environment.}]] * 64} ) trainer GRPOTrainer( modelQwen/Qwen3-0.6B, train_datasetdataset, reward_funcsreward_func, argsGRPOConfig( chat_template_kwargs{enable_thinking: False}, log_completionsTrue, ), environment_factoryEchoToolEnv, ) trainer.train()对应地仓库中的可直接运行的脚本是 examples/grpo_echo/grpo_echo.py支持命令行参数# Run the example python examples/grpo_echo/grpo_echo.py # Customize model and environment URL python examples/grpo_echo/grpo_echo.py --model Qwen/Qwen3-0.6B --env-host https://openenv-echo-env.hf.space脚本默认模型为Qwen/Qwen3-0.6B--env-host默认指向qgallouedec-echo-env.hf.space。脚本里的GRPOConfig还开启了log_completionsTrue、logging_steps2、num_completions_to_print1用于在日志中查看每轮 completion。传入environment_factory后训练器内部发生的事文档 “Quick start” 逐条列出实例化训练器为每条生成创建一个EchoToolEnv实例——注意传的是类不是实例。reset每个 episode 开始时调用reset()初始化状态返回观察字符串或None。工具发现训练器发现环境实例上的所有公共方法此处为echo()把它们暴露为 function-calling 工具docstring 里的类型化参数用于构造工具 schema。多轮循环训练器生成 completion、解析工具调用、执行echo()、把结果追加进对话、再次生成直到模型不再调用工具或达到max_completion_length。奖励episode 结束后环境 reset 前奖励函数从每个环境实例读取env.reward。奖励函数因此接收environments参数环境实例列表可以访问 episode 中保存的任何状态。结果验证与训练前检查文档给出的验证与判断方法先手动测试奖励再训练。文档建议手动跑几个 episode以 Wordle 示例为例确认环境返回的奖励合理“如果一个能力足够的模型都不能比随机基线得分更高奖励信号可能需要调整”原文见 “Tips for reward functions”。看奖励曲线。文档 “Quick start” 展示了 Echo 训练得到的奖励曲线文档示例结果数值因模型和运行而异并说明 Wordle 训练中模型通过减少重复、提高猜中率来提升表现。奖励设计建议同为文档经验二元奖励成功 1.0、否则 0.0在 Wordle/Sudoku 实验中比部分得分的形状化奖励产生更干净的训练信号因为 GRPO 在组内比较 completion相对排序比绝对值更重要尽量让环境判断最终状态而不是检查是否走了特定动作序列。另外GRPO 指南 还描述了可选的get_reward()保留方法环境可以从自己的内部状态直接给出奖励episode 是否获胜、词是否猜中它每次 rollout 结束时被调用训练器所有奖励来源会求和。两种奖励方式不互斥。排查与限制以下问题都与environment_factory直接相关均来自 docs/source/openenv.md并发连接失败。训练器创建 N 个环境实例每条生成一个各自打开一条 WebSocket 连接而 OpenEnv 服务器默认只允许 1 个并发会话训练时会导致失败。解决方式在服务器端在环境文件中声明并发支持SUPPORTS_CONCURRENT_SESSIONS: bool True在服务器 app 中设置并发上限app create_app( create_my_environment, MyAction, MyObservation, max_concurrent_envs64, # match or exceed generation_batch_size )max_concurrent_envs应大于等于generation_batch_size默认等于per_device_train_batch_size × gradient_accumulation_steps。例如gradient_accumulation_steps64、batch size 为 1 时至少需要 64 个并发会话。这也是前文建议把 Space 复制到自己账号下的原因。episode 被中途截断。max_completion_length限制的是整个多轮对话的总 token 数所有模型生成 工具结果之和而不是单次生成长度。轮次多的环境如几十步的 Sudoku可能需要调大args GRPOConfig( max_completion_length4096, # default is usually 256-1024, increase for long episodes # ... )如果观察到模型在“游戏没结束时就停下”文档指出这通常就是原因。工具调用轮数上限。若不想让循环无限持续用GRPOConfig的max_tool_calling_iterations限制工具调用轮数默认无上限生成在模型输出不带工具调用的回复轮时停止docs/source/grpo_trainer.md“Agent Training”。Chat template 要求。GRPO 的工具调用循环要求 chat template 是prefix-preserving的追加工具消息不能改变之前消息的渲染。对已知模型家族如 Qwen3、DeepSeek-V3TRL 在启用工具时会自动换入修补过的训练模板完整模型列表见 chat template 文档。模型能力边界。文档 “Results” 说明Wordle 训练中 Qwen3-1.7B 配合enable_thinkingFalse能学会改进猜测但不能稳定赢下游戏更大的模型如 gpt-oss-20b可以稳定获胜但需要显著更多算力。这不是配置错误而是模型能力限制。可选分支用 vLLM 扩展训练Echo 示例不依赖 vLLM 即可运行。若要跑 Wordle 这类多轮环境docs/source/openenv.md 给出两种部署方式以 examples/grpo_wordle/grpo_wordle.py 为例Colocate 模式1 GPU文档推荐python examples/grpo_wordle/grpo_wordle.py --vllm-mode colocatevLLM 与训练在同一进程运行只需要一张 GPU。Server 模式2 GPU可扩展。这需要先在终端 1 启动一个常驻的 vLLM 推理服务器长时运行进程绑定 GPU 0 与端口 8000再在终端 2 启动训练。命令如下其中VLLM_SERVER_DEV_MODE1、--weight-transfer-config {backend: nccl}、--logprobs-mode processed_logprobs、--max-logprobs -1均为文档原样给出的参数# Terminal 1: Start vLLM inference server CUDA_VISIBLE_DEVICES0 VLLM_SERVER_DEV_MODE1 vllm serve Qwen/Qwen3-1.7B --host 0.0.0.0 --port 8000 \ --weight-transfer-config {backend: nccl} \ --logprobs-mode processed_logprobs \ --max-logprobs -1 # Terminal 2: Run GRPO training with OpenEnv CUDA_VISIBLE_DEVICES1 python examples/grpo_wordle/grpo_wordle.py --vllm-mode server --vllm-server-url http://localhost:8000更复杂的状态模式与多环境Wordle 示例展示了两个值得借鉴的状态处理模式完整代码见 examples/grpo_wordle/grpo_wordle.pyreset()返回游戏初始消息作为模型看到的第一条观察TextArena 每轮返回完整游戏历史代码只切出新增部分避免重复上下文游戏结束后若模型继续调用guess()方法抛出ValueError(Game over.)训练器捕获后把错误信息回传给模型模型由此学会停止。如果一个任务需要同时训练多个环境Wordle Catchexamples/grpo_multi_env/grpo_multi_env.py 展示了元环境模式数据集加一列env标识reset(**kwargs)读取它选择激活的环境客户端在reset()里惰性创建并在切换前关闭旧连接。多环境训练时监控分奖励函数的指标train/reward_func_0等而不是合并的train/reward因为合并指标在不同环境间交替、看起来噪声较大。最后两点边界说明OpenReward 与 Harbor 两个集成遵守同一environment_factory契约在 TRL 层面可以互换可按任务生态选择选型对照表见 docs/source/grpo_trainer.md 的 “Environment Integrations”如果环境无法由训练器驱动多轮循环例如外部 Agent 服务器自己拥有生成循环则改用rollout_func自己实现完整的生成与环境交互循环。【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
如何将 TRL GRPO 与 OpenEnv 环境集成训练有状态的 Agentenvironment_factory【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl本文解决的问题是在 TRL 中用GRPOTrainer训练一个有状态的 Agent——模型在多轮对话中调用工具环境的输出会随 Agent 的历史动作变化比如走棋、猜词、浏览页面。TRL 的 OpenEnv 集成文档 给出的方案是把 OpenEnv 环境包进一个普通的 Python 类通过GRPOTrainer的environment_factory参数传入训练器会自动处理生成、解析工具调用、执行工具、回传结果的多轮循环你不需要自己写 rollout 代码。前提条件environment_factory需要transformers5.2.0GRPO 指南 的 Agent Training 章节明确要求。需要能访问 OpenEnv 环境服务器Hugging Face Space、Docker 容器或本地进程下文给出三种运行方式。先判断什么时候该用 environment 而不是 toolsGRPOTrainer的 Agent 训练支持两种模式docs/source/openenv.md“When to use environments”tools每次调用是无状态、相互独立的计算器、搜索。environments在轮次之间保持状态Agent 的动作会影响后续观察。当连续性重要时才用 environment例如在导航游戏、浏览网页等任务中Agent 下一步看到什么取决于它之前做了什么。两者也可以组合可以同时传独立的tools和environment_factory。准备安装 TRL 与环境客户端包先安装 TRL 本体pip install trl然后安装具体环境的客户端包。OpenEnv 环境以 Hugging Face Spaces 托管同时也是可直接pip install的 Git 仓库docs/source/openenv.md“Installation”# Echo environment pip install openenv-echo-env githttps://huggingface.co/spaces/openenv/echo_env # Wordle (TextArena) environment pip install openenv-textarena githttps://huggingface.co/spaces/openenv/wordle # Catch (OpenSpiel) environment pip install openenv-openspiel-env githttps://huggingface.co/spaces/openenv/openspiel_env这会安装环境客户端如EchoEnv它通过 WebSocket 与远程环境服务器通信同时装上 action/observation 模型和所有必需依赖包括openenv本身。如果某个环境的 Space 不在上面可以在其 HF Space 页面点击⋮三个点菜单 → Use this Space查看安装命令。也可以只装核心包pip install openenv[core]0.3.1但环境特有的依赖可能需要单独安装。另一种省事的方式TRL 的示例脚本内嵌了 PEP 723 依赖元数据用 uv 可直接运行依赖会装进隔离的虚拟环境uv run examples/grpo_echo/grpo_echo.py注意示例脚本 grpo_echo.py 内嵌的依赖指向qgallouedec/echo_env这个 Space而上面文档给出的安装命令指向openenv/echo_env两者都是 Echo 环境脚本内--env-host的默认值也是https://qgallouedec-echo-env.hf.space。用哪一侧保持安装与 URL 一致即可或直接用--env-host覆盖。运行环境服务器使用environment_factory时训练器会自动连接环境服务器你只需要保证服务器在运行。文档给出三种方式方式一连接远程 HF Space最简单。多数示例脚本默认指向托管的 Space例如env EchoEnv(base_urlhttps://openenv-echo-env.hf.space)但文档明确警告用于训练时应把 Space 复制到你自己的账号下因为训练器会同时打开 N 条 WebSocket 连接每条生成一条共享 Space 未必支持这种并发。方式二Docker 容器文档推荐用于生产。以 Echo 为例把宿主机 8001 端口映射到容器 8000 端口目的是把 8000 留给 vLLM 服务器docker run -d -p 8001:8000 --platform linux/amd64 registry.hf.space/openenv-echo-env:latest然后客户端连接env EchoEnv(base_urlhttp://0.0.0.0:8001)也可以不手动拉容器让客户端程序化启动EchoEnv.from_docker_image(registry.hf.space/openenv-echo-env:latest)。任意 Space 的 Docker 镜像可以在其 Hub 页面⋮ → Run locally找到。方式三本地 Python 进程适合开发hf download openenv/echo_env --repo-typespace --local-direcho_env python -m uvicorn echo_env.src.envs.echo_env.server:app --host 0.0.0.0 --port 8001命令来自文档原文hf download会把 Space 仓库下载到本地目录echo_env然后以 uvicorn 启动服务。连接方式与 Docker 方式相同base_urlhttp://0.0.0.0:8001。编写符合 environment_factory 契约的环境类docs/source/openenv.md 规定环境类必须满足以下规则__init__(self)可选如果提供不能接受任何参数。需要外部配置比如 URL时从外层作用域或模块级变量捕获。reset(self, **kwargs)每个 episode 开始时被调用数据集的列会作为关键字参数传入。返回字符串观察或None表示无初始观察。工具方法除reset外的任何公共方法不以_开头都会自动暴露为工具。每个工具方法必须有带Args:描述的 docstring 和类型标注训练器用它们生成工具的 schema。文档特别强调工具必须是具名的独立方法如guess(word: str)、move(direction: str)不建议用step(action)这类通用方法因为模型需要有意义的工具名和参数描述才能学会调用。两个写状态的关键技巧同文档 “Tips for environment classes”用实例属性保存奖励状态self.reward、self.done等供奖励函数通过environments参数读取。用异常表示非法动作或 episode 结束如果工具方法抛出异常如ValueError(Game over.)训练器会捕获它并把错误信息作为工具响应回传给模型。这是文档推荐的信号方式模型会学会收到该信号后停止调用工具。最小完整示例Echo 环境下面是 docs/source/openenv.md “Quick start” 的完整示例。Echo 环境把消息原样回显并按文本长度给出奖励适合验证整条链路from datasets import Dataset from echo_env import EchoEnv from echo_env.models import EchoAction from trl import GRPOConfig, GRPOTrainer ENV_URL https://openenv-echo-env.hf.space class EchoToolEnv: def __init__(self): self.env EchoEnv(base_urlENV_URL) self.reward 0.0 def reset(self, **kwargs) - str | None: self.reward 0.0 return None def echo(self, message: str) - str: Echo the message back from the environment. Args: message: The message to echo Returns: The echoed message. observation self.env.step(EchoAction(messagemessage)) self.reward observation.observation.reward return observation.observation.echoed_message def reward_func(environments, **kwargs): return [env.reward for env in environments] dataset Dataset.from_dict( {prompt: [[{role: user, content: Try to echo Hello World! in the environment.}]] * 64} ) trainer GRPOTrainer( modelQwen/Qwen3-0.6B, train_datasetdataset, reward_funcsreward_func, argsGRPOConfig( chat_template_kwargs{enable_thinking: False}, log_completionsTrue, ), environment_factoryEchoToolEnv, ) trainer.train()对应地仓库中的可直接运行的脚本是 examples/grpo_echo/grpo_echo.py支持命令行参数# Run the example python examples/grpo_echo/grpo_echo.py # Customize model and environment URL python examples/grpo_echo/grpo_echo.py --model Qwen/Qwen3-0.6B --env-host https://openenv-echo-env.hf.space脚本默认模型为Qwen/Qwen3-0.6B--env-host默认指向qgallouedec-echo-env.hf.space。脚本里的GRPOConfig还开启了log_completionsTrue、logging_steps2、num_completions_to_print1用于在日志中查看每轮 completion。传入environment_factory后训练器内部发生的事文档 “Quick start” 逐条列出实例化训练器为每条生成创建一个EchoToolEnv实例——注意传的是类不是实例。reset每个 episode 开始时调用reset()初始化状态返回观察字符串或None。工具发现训练器发现环境实例上的所有公共方法此处为echo()把它们暴露为 function-calling 工具docstring 里的类型化参数用于构造工具 schema。多轮循环训练器生成 completion、解析工具调用、执行echo()、把结果追加进对话、再次生成直到模型不再调用工具或达到max_completion_length。奖励episode 结束后环境 reset 前奖励函数从每个环境实例读取env.reward。奖励函数因此接收environments参数环境实例列表可以访问 episode 中保存的任何状态。结果验证与训练前检查文档给出的验证与判断方法先手动测试奖励再训练。文档建议手动跑几个 episode以 Wordle 示例为例确认环境返回的奖励合理“如果一个能力足够的模型都不能比随机基线得分更高奖励信号可能需要调整”原文见 “Tips for reward functions”。看奖励曲线。文档 “Quick start” 展示了 Echo 训练得到的奖励曲线文档示例结果数值因模型和运行而异并说明 Wordle 训练中模型通过减少重复、提高猜中率来提升表现。奖励设计建议同为文档经验二元奖励成功 1.0、否则 0.0在 Wordle/Sudoku 实验中比部分得分的形状化奖励产生更干净的训练信号因为 GRPO 在组内比较 completion相对排序比绝对值更重要尽量让环境判断最终状态而不是检查是否走了特定动作序列。另外GRPO 指南 还描述了可选的get_reward()保留方法环境可以从自己的内部状态直接给出奖励episode 是否获胜、词是否猜中它每次 rollout 结束时被调用训练器所有奖励来源会求和。两种奖励方式不互斥。排查与限制以下问题都与environment_factory直接相关均来自 docs/source/openenv.md并发连接失败。训练器创建 N 个环境实例每条生成一个各自打开一条 WebSocket 连接而 OpenEnv 服务器默认只允许 1 个并发会话训练时会导致失败。解决方式在服务器端在环境文件中声明并发支持SUPPORTS_CONCURRENT_SESSIONS: bool True在服务器 app 中设置并发上限app create_app( create_my_environment, MyAction, MyObservation, max_concurrent_envs64, # match or exceed generation_batch_size )max_concurrent_envs应大于等于generation_batch_size默认等于per_device_train_batch_size × gradient_accumulation_steps。例如gradient_accumulation_steps64、batch size 为 1 时至少需要 64 个并发会话。这也是前文建议把 Space 复制到自己账号下的原因。episode 被中途截断。max_completion_length限制的是整个多轮对话的总 token 数所有模型生成 工具结果之和而不是单次生成长度。轮次多的环境如几十步的 Sudoku可能需要调大args GRPOConfig( max_completion_length4096, # default is usually 256-1024, increase for long episodes # ... )如果观察到模型在“游戏没结束时就停下”文档指出这通常就是原因。工具调用轮数上限。若不想让循环无限持续用GRPOConfig的max_tool_calling_iterations限制工具调用轮数默认无上限生成在模型输出不带工具调用的回复轮时停止docs/source/grpo_trainer.md“Agent Training”。Chat template 要求。GRPO 的工具调用循环要求 chat template 是prefix-preserving的追加工具消息不能改变之前消息的渲染。对已知模型家族如 Qwen3、DeepSeek-V3TRL 在启用工具时会自动换入修补过的训练模板完整模型列表见 chat template 文档。模型能力边界。文档 “Results” 说明Wordle 训练中 Qwen3-1.7B 配合enable_thinkingFalse能学会改进猜测但不能稳定赢下游戏更大的模型如 gpt-oss-20b可以稳定获胜但需要显著更多算力。这不是配置错误而是模型能力限制。可选分支用 vLLM 扩展训练Echo 示例不依赖 vLLM 即可运行。若要跑 Wordle 这类多轮环境docs/source/openenv.md 给出两种部署方式以 examples/grpo_wordle/grpo_wordle.py 为例Colocate 模式1 GPU文档推荐python examples/grpo_wordle/grpo_wordle.py --vllm-mode colocatevLLM 与训练在同一进程运行只需要一张 GPU。Server 模式2 GPU可扩展。这需要先在终端 1 启动一个常驻的 vLLM 推理服务器长时运行进程绑定 GPU 0 与端口 8000再在终端 2 启动训练。命令如下其中VLLM_SERVER_DEV_MODE1、--weight-transfer-config {backend: nccl}、--logprobs-mode processed_logprobs、--max-logprobs -1均为文档原样给出的参数# Terminal 1: Start vLLM inference server CUDA_VISIBLE_DEVICES0 VLLM_SERVER_DEV_MODE1 vllm serve Qwen/Qwen3-1.7B --host 0.0.0.0 --port 8000 \ --weight-transfer-config {backend: nccl} \ --logprobs-mode processed_logprobs \ --max-logprobs -1 # Terminal 2: Run GRPO training with OpenEnv CUDA_VISIBLE_DEVICES1 python examples/grpo_wordle/grpo_wordle.py --vllm-mode server --vllm-server-url http://localhost:8000更复杂的状态模式与多环境Wordle 示例展示了两个值得借鉴的状态处理模式完整代码见 examples/grpo_wordle/grpo_wordle.pyreset()返回游戏初始消息作为模型看到的第一条观察TextArena 每轮返回完整游戏历史代码只切出新增部分避免重复上下文游戏结束后若模型继续调用guess()方法抛出ValueError(Game over.)训练器捕获后把错误信息回传给模型模型由此学会停止。如果一个任务需要同时训练多个环境Wordle Catchexamples/grpo_multi_env/grpo_multi_env.py 展示了元环境模式数据集加一列env标识reset(**kwargs)读取它选择激活的环境客户端在reset()里惰性创建并在切换前关闭旧连接。多环境训练时监控分奖励函数的指标train/reward_func_0等而不是合并的train/reward因为合并指标在不同环境间交替、看起来噪声较大。最后两点边界说明OpenReward 与 Harbor 两个集成遵守同一environment_factory契约在 TRL 层面可以互换可按任务生态选择选型对照表见 docs/source/grpo_trainer.md 的 “Environment Integrations”如果环境无法由训练器驱动多轮循环例如外部 Agent 服务器自己拥有生成循环则改用rollout_func自己实现完整的生成与环境交互循环。【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
