Agent 幂等性设计：保证同一任务重试多次不会产生重复副作用

Agent 幂等性设计保证同一任务重试多次不会产生重复副作用一、深度引言与场景痛点Agent 最常见的生产事故是什么不是推理错误不是工具调用失败而是重试导致重复执行。用户说给团队发一封周报Agent 开始调邮件工具。发到一半网络超时了Agent 觉得没发送成功重试。又超时了再重试。三次下来团队收到了三封一模一样的周报。这就是幂等性缺失的后果。幂等性是说同一个操作执行一次和执行 N 次产生的副作用和最终状态是一样的。在 Agent 系统里工具调用就是操作邮件发送、数据库写入、API 调用、消息推送都是副作用。Agent 的天然特性让它比普通微服务更容易违反幂等性Agent 会在失败时自动重试Agent 的推理步骤可以产生多个指向同一目标的工具调用Agent 内部的多轮思考可能无意中确认了两次。如果工具本身不幂等Agent 的智能就变成了致命智能。二、底层机制与原理深度剖析flowchart TD A[Agent 发起工具调用] -- B[生成幂等键 idempotency_key] B -- C{幂等键是否已执行?} C --|是-已成功| D[返回缓存的执行结果] C --|是-执行中| E[等待正在进行的执行完成] C --|是-已失败| F[根据策略决定是否重试] C --|否| G[记录幂等键状态为 EXECUTING] G -- H[执行工具操作] H -- I{执行结果?} I --|成功| J[记录状态SUCCESS, 缓存结果] I --|失败| K[记录状态FAILED, 缓存错误] I --|超时| L[记录状态TIMEOUT, 等待确认] J -- M[返回结果] K -- N[返回错误] L -- O[异步确认后更新状态] E -- M D -- M幂等键Idempotency Key是整个设计的核心。它不是一个随机数而应该从业务语义中推导出来。对于发送周报邮件这个操作幂等键可以是send_report:2025W27年份周次这样无论 Agent 重试多少次同一个周的周报只会发送一次。EXECUTING状态是为了应对并发重试Agent 的第一次调用还在执行中时第二次调用已经到达。这时候不能重复执行而应该让第二个调用等待或返回正在处理。这个状态是关键否则幂等键只是避免了已成功的重复挡不住并发的重复。TIMEOUT状态处理的是最棘手的情况操作超时了但你不知道它到底成没成功。邮件可能发出去了只是响应丢了也可能没发出去。对于这种情况需要一个异步确认机制——后台去查邮件服务商的发送记录确认是否真的发送了再更新状态。三、生产级代码实现from __future__ import annotations import asyncio import hashlib import json from dataclasses import dataclass from datetime import datetime, timedelta from enum import Enum from typing import Any, Optional, Callable, Awaitable class IdempotencyStatus(Enum): EXECUTING executing SUCCESS success FAILED failed TIMEOUT timeout dataclass class IdempotencyRecord: key: str status: IdempotencyStatus result: Any None error: str created_at: datetime field(default_factorydatetime.now) ttl_seconds: int 3600 class IdempotencyStore: 幂等键存储 —— 生产环境换成 Redis def __init__(self): self._store: dict[str, IdempotencyRecord] {} async def get(self, key: str) - Optional[IdempotencyRecord]: record self._store.get(key) if record: if datetime.now() - record.created_at timedelta(secondsrecord.ttl_seconds): del self._store[key] return None return record return None async def set(self, key: str, record: IdempotencyRecord) - None: self._store[key] record async def delete(self, key: str) - None: self._store.pop(key, None) class IdempotentWrapper: 幂等包装器: 包装任意异步工具函数使其幂等 def __init__(self, store: IdempotencyStore, key_prefix: str agent_tool): self._store store self._key_prefix key_prefix self._executing_locks: dict[str, asyncio.Lock] {} def _build_key(self, tool_name: str, params: dict) - str: param_str json.dumps(params, sort_keysTrue, ensure_asciiFalse) param_hash hashlib.md5(param_str.encode()).hexdigest()[:12] return f{self._key_prefix}:{tool_name}:{param_hash} async def execute( self, tool_name: str, params: dict, fn: Callable[..., Awaitable[Any]], timeout: float 30.0, ) - tuple[bool, Any]: key self._build_key(tool_name, params) # 检查是否有已完成的记录 existing await self._store.get(key) if existing: if existing.status IdempotencyStatus.SUCCESS: return True, existing.result elif existing.status IdempotencyStatus.EXECUTING: # 等待进行中的执行 await self._wait_for_completion(key, timeout10.0) existing await self._store.get(key) if existing and existing.status IdempotencyStatus.SUCCESS: return True, existing.result return False, existing.error if existing else 等待超时 elif existing.status IdempotencyStatus.FAILED: # 已失败允许重试 pass # 获取执行锁防止并发 if key not in self._executing_locks: self._executing_locks[key] asyncio.Lock() lock self._executing_locks[key] async with lock: # 双重检查获得锁后再次确认 existing await self._store.get(key) if existing and existing.status IdempotencyStatus.SUCCESS: return True, existing.result # 标记执行中 await self._store.set(key, IdempotencyRecord( keykey, statusIdempotencyStatus.EXECUTING, )) try: async with asyncio.timeout(timeout): result await fn(**params) except asyncio.TimeoutError: await self._store.set(key, IdempotencyRecord( keykey, statusIdempotencyStatus.TIMEOUT, error执行超时, )) return False, 执行超时 except Exception as e: await self._store.set(key, IdempotencyRecord( keykey, statusIdempotencyStatus.FAILED, errorstr(e), )) return False, str(e) # 执行成功 await self._store.set(key, IdempotencyRecord( keykey, statusIdempotencyStatus.SUCCESS, resultresult, )) return True, result async def _wait_for_completion(self, key: str, timeout: float) - None: deadline datetime.now() timedelta(secondstimeout) while datetime.now() deadline: record await self._store.get(key) if record and record.status ! IdempotencyStatus.EXECUTING: return await asyncio.sleep(0.1) # 使用示例 async def send_email(to: str, subject: str, body: str) - str: 模拟邮件发送 await asyncio.sleep(0.5) return fsent_to_{to} async def agent_send_report(): store IdempotencyStore() wrapper IdempotentWrapper(store, key_prefixagent) success, result await wrapper.execute( tool_namesend_email, params{to: teamcompany.com, subject: 周报, body: 本周完成...}, fnsend_email, timeout30.0, ) if success: print(f发送成功: {result}) else: print(f发送失败: {result})幂等键的生成逻辑很关键。_build_key用tool_name params的 MD5 哈希作为 key前提是你假设同一个工具 相同参数就是同一个操作。这个假设在大多数场景成立但要注意如果参数里有时序相关的字段比如now()每次生成的 key 不同幂等就失效了。所以 Agent 调用工具时应该去掉时间戳参数或者把它标准化比如取日期而非精确时间。双重检查模式Double-Check解决了并发窗口问题。在async with lock里面再次检查幂等键状态是因为从第一次检查到获取锁之间另一个协程可能已经完成了执行。无锁的第一轮检查是快速通道有锁的第二轮检查是安全阀。_wait_for_completion让并发来的重复请求等待第一个请求完成然后直接返回结果。这个设计虽然多了等待开销但相比重复执行的风险多等几秒是值得的。四、边界分析与架构权衡幂等包装器会让每次工具调用增加一次 Redis 查询和一次写入大约 2~4ms 的额外延迟。对于高频的只读操作如搜索、查询这个开销没必要。应该只在有副作用的写操作上使用幂等包装邮件发送、数据库写入、消息推送、API 调用外部服务等。另一个边界是幂等键的 TTL。如果永不过期存储会无限增长如果太短长时间运行的 Agent 可能因为 TTL 过期而重复执行。建议根据业务场景设置邮件发送 TTL 设 24 小时同一天内不重复数据库写入 TTL 设 1 小时API 调用 TTL 设 15 分钟。TTL 到时后允许重试但重试可能产生重复副作用——这是一个容忍范围内的重复风险。对于 TIMEOUT 状态自动重试可能更危险。邮件超时了自动重发但第一次已经发出去了用户收到两封。更稳妥的做法是TIMEOUT 状态触发人工确认或异步回调确认确认之前不自动重试。五、总结Agent 幂等性设计的核心是三个概念幂等键从业务语义推导、两层状态检查快速通道 锁内双重检查、超时后的异步确认。有了这三层Agent 重试多少次都不会产生重复副作用。落地优先级先给邮件、支付、消息推送等最高风险的工具加幂等包装幂等键去掉时间戳参数存储用 Redis 而不是内存字典TIMEOUT 状态不自动重试走人工或异步确认。