交互响应同步响应同步响应就是最简单的给模型一个输入然后一直在那里等等到有答案了一股脑全部返回。SSE 流式输出SSE 流式输出是大模型会生成很多个字每生成一个就推送给前端看上去就好像在打字一样。异步输出异步就有点像事件循环了一个任务正在等待的过程中可以去做别的等到做好了再来拿。有点像 async await。Prompt 版本管理Prompt 在最开始的情况下可以是一个字符串但是在需要版本改动跑测试的时候就很麻烦。成熟的做法是把 Prompt 抽出来做成独立的模板配置。模板支持变量替换、版本管理、灰度发布。重试策略模型 API 挂了怎么办在 API 挂了的时候应该注意是哪种情况有的情况比如说网络抖动或者 HTTP 429 被限流了那么就应该用指数退避加随机抖动。如果是HTTP 400 格式错误或 HTTP 401 认证失败那么重试反而没有必要。大模型的生成很慢可能要等15-30秒才能生成完整的回答如果超时时间只设置成5秒那么超时是很正常的。但是像 TCP 连接这种就不需要这么长的时间因此应该分层设置超时事件。限流与降级当 token 超额时不应该只让用户看到空白页面应该要有降级措施比如用便宜模型或者预设一个回答。幂等性相同请求不要重复计费网络抖动导致客户端没收到响应于是重发了一次请求。如果没有幂等保护同一个请求可能被执行两次——两倍的 token 消耗、两倍的费用、甚至可能给用户返回两条重复的消息。实现思路很简单客户端在每个请求上带一个唯一的请求 ID服务端在处理前先检查这个 ID 有没有被处理过
交互响应同步响应同步响应就是最简单的给模型一个输入然后一直在那里等等到有答案了一股脑全部返回。SSE 流式输出SSE 流式输出是大模型会生成很多个字每生成一个就推送给前端看上去就好像在打字一样。异步输出异步就有点像事件循环了一个任务正在等待的过程中可以去做别的等到做好了再来拿。有点像 async await。Prompt 版本管理Prompt 在最开始的情况下可以是一个字符串但是在需要版本改动跑测试的时候就很麻烦。成熟的做法是把 Prompt 抽出来做成独立的模板配置。模板支持变量替换、版本管理、灰度发布。重试策略模型 API 挂了怎么办在 API 挂了的时候应该注意是哪种情况有的情况比如说网络抖动或者 HTTP 429 被限流了那么就应该用指数退避加随机抖动。如果是HTTP 400 格式错误或 HTTP 401 认证失败那么重试反而没有必要。大模型的生成很慢可能要等15-30秒才能生成完整的回答如果超时时间只设置成5秒那么超时是很正常的。但是像 TCP 连接这种就不需要这么长的时间因此应该分层设置超时事件。限流与降级当 token 超额时不应该只让用户看到空白页面应该要有降级措施比如用便宜模型或者预设一个回答。幂等性相同请求不要重复计费网络抖动导致客户端没收到响应于是重发了一次请求。如果没有幂等保护同一个请求可能被执行两次——两倍的 token 消耗、两倍的费用、甚至可能给用户返回两条重复的消息。实现思路很简单客户端在每个请求上带一个唯一的请求 ID服务端在处理前先检查这个 ID 有没有被处理过
