用户对速度的感受往往不是由总耗时决定的。同样要等十秒一个是白屏十秒后突然全出一个是第一秒就有字、慢慢往外冒后者的体验要好得多。这就是流式的价值。首字延迟比总时长更关键流式输出里有两个指标值得分开看首字延迟和总时长。首字延迟决定“快不快”的体感总时长决定“多久能读完”。很多时候优化首字延迟更有价值——把前置的检索、鉴权、模板渲染尽量并行让模型尽早开始出第一个字。工程上还要注意几件事分流输出时的分块策略要合理太碎会增加网络开销太大会让输出一顿一顿中间不要有缓冲层把数据攒起来再发网关和负载均衡必须支持长连接透传否则流式会在某一跳被“拍平”成全量响应。中断、续写与超时流式一旦铺开还要处理一批新问题。用户中途关掉页面后端应当及时感知并释放推理资源否则算力会白白烧掉网络抖动导致连接断开要不要支持从断点继续长时间没有任何新内容的“静默”状态需要有心跳机制避免连接被中间设备掐断超时该按总时长算还是按无输出时长算也需要明确。这些细节处理好了流式才不是“看起来很美”。流式响应本身不提升模型能力但它直接决定了用户愿不愿意等。在体验这件事上感知的速度和真实的速度同样重要。
用户对速度的感受往往不是由总耗时决定的。同样要等十秒一个是白屏十秒后突然全出一个是第一秒就有字、慢慢往外冒后者的体验要好得多。这就是流式的价值。首字延迟比总时长更关键流式输出里有两个指标值得分开看首字延迟和总时长。首字延迟决定“快不快”的体感总时长决定“多久能读完”。很多时候优化首字延迟更有价值——把前置的检索、鉴权、模板渲染尽量并行让模型尽早开始出第一个字。工程上还要注意几件事分流输出时的分块策略要合理太碎会增加网络开销太大会让输出一顿一顿中间不要有缓冲层把数据攒起来再发网关和负载均衡必须支持长连接透传否则流式会在某一跳被“拍平”成全量响应。中断、续写与超时流式一旦铺开还要处理一批新问题。用户中途关掉页面后端应当及时感知并释放推理资源否则算力会白白烧掉网络抖动导致连接断开要不要支持从断点继续长时间没有任何新内容的“静默”状态需要有心跳机制避免连接被中间设备掐断超时该按总时长算还是按无输出时长算也需要明确。这些细节处理好了流式才不是“看起来很美”。流式响应本身不提升模型能力但它直接决定了用户愿不愿意等。在体验这件事上感知的速度和真实的速度同样重要。
