你有没有想过为什么和Siri或者Alexa聊天的时候总感觉在跟一个反应迟钝的人打交道你说完一句话它要停顿一下才开始处理处理完了才能回应如果你中途想插一句话打断它系统往往要愣一下才能反应过来。这种你说完我再想我想完你再说的模式其实暴露了现在大语言模型一个很根本的问题它们天生是为轮流对话设计的。想想人类是怎么交流的。你和朋友聊天的时候从来不是先听完对方说完整整一段话才开始琢磨怎么回应。你其实是边听边想甚至对方话还没说完你已经在脑子里组织语言了。这种边听边想边说的能力是我们进化出来处理连续信息流的本能。但AI模型不是这样长出来的。它们是在一堆一问一答的文本上训练出来的脑子里天生就刻着读完再想想完再回这个顺序。这就造成了一个很尴尬的局面现实世界里几乎所有需要实时反应的场景从语音助手到自动驾驶从监控系统到打游戏都需要AI一边接收新信息一边处理旧任务可AI骨子里就不是这么设计的。那怎么办现在业内的做法基本是一个场景一套方案。做语音助手的专门训练一个全双工模型来处理边听边说做机器人的搞一套双系统架构让机器人边思考边行动做视频理解的再单独训一个模型来判断哪些视频帧值得关注。每个团队都在为自己的场景单独造轮子谁也没想过这些看似五花八门的场景背后可能藏着同一套底层逻辑。这篇论文的作者们就是奔着这个问题去的。他们提出了一个叫做**AsyncLLM***异步大语言模型框架一套让开发者或者AI自己用协程的方式定义并行推理任务的框架核心思想是让多个推理任务共享同一份记忆从而实现真正意义上的并发。*的框架核心主张很直接异步能力应该是大模型的一种通用技能就像它们能用工具、能举一反三一样不应该是每个场景都要单独训练的专属功能。问题到底难在哪里要理解这个框架的巧妙之处得先搞清楚异步这件事本身有多棘手。假设你让一个AI模型一边琢磨一道数学题一边把思考过程实时讲给你听。传统做法是模型生成一段文字你读一段模型再生成下一段。但如果模型想要真正做到边想边说比如一个后台线程在专心推理另一个前台线程实时把推理进展总结给你听这两个线程之间怎么沟通最直接的想法是让它们通过文字互相传话。可这样做的代价很大每当后台推理产生一个新想法前台总结线程如果想看到这个新想法就得把之前已经生成的所有文字重新编码一遍。这就好比两个人写信联系每次对方回信之前你都要把自己之前写过的所有信重新抄一遍确认没有变化效率低到没法用在实时场景里。那能不能让它们直接共享大脑里的记忆而不是靠传话这就是AsyncLLM要解决的核心技术难题。论文里管这个记忆叫**CacheBlock***缓存块模型在处理一段连续文本或图像时内部保存的注意力键值缓存和状态信息可以理解成模型读到这里、想到这里时脑子里留下的印记。*每次模型做一次推理都会往某个缓存块里写入自己的思考痕迹同时还可以偷看其他缓存块里别人的思考痕迹这种偷看的方式论文里叫做**cache_view缓存视图***一次推理请求可以同时看到多个缓存块的组合方式决定了这次思考能参考哪些已有的记忆。*为什么直接拼接记忆不管用问题来了如果两个并行的推理任务都在往自己的缓存块里写东西还互相偷看对方的进展这在数学上到底还成不成立传统的注意力机制严重依赖**RoPE***旋转位置编码一种给模型的注意力机制标注位置信息的方法让模型知道每个词在句子里排第几通常靠对查询向量和键向量做旋转变换来实现。*来记录每个词在序列里的位置。如果把两段本来是分开生成的文字硬拼在一起位置信息就全乱了模型就没法正确理解谁在前谁在后。这里论文引用了此前一项叫Hogwild!的工作提出的一个巧妙数学技巧。核心洞察是这样的注意力计算本质上关心的是查询和键之间的相对距离而不是它们各自的绝对位置。既然如此不需要每次都把已经存好的历史记忆重新旋转到新的位置只需要在计算的那一刻临时调整一下当前查询向量的旋转角度就行了。这就像图书馆管理员整理书架。如果每次有人来借一本新书你都要把架子上所有旧书按照新的排列顺序重新摆一遍那这个图书馆永远处于混乱状态效率极低。但如果你换个思路书永远放在原来的位置不动只是每次有人来查询时临时计算一下这本新书相对于那本旧书差了几个格子你就不需要移动任何一本旧书查询照样能准确完成。这正是这个技巧的精髓保持历史记忆原地不动只在推理那一刻做相对位置的临时校正。如果不用这个技巧会发生什么每次两个并行任务想要互相偷看进展就必须重新计算一遍所有历史缓存的位置编码计算量随着对话变长而线性增长实时性根本无从谈起。现代大模型远比传统注意力复杂但这里有个更麻烦的事情。上面这套技巧只对经典的全注意力层有效而现在最先进的开源大模型比如Qwen 3.5以上的版本早就不是纯粹的全注意力架构了。它们往往是**混合架构***Hybrid Architecture把传统的全注意力层和线性注意力层交替混合使用的模型结构全注意力层负责捕捉全局关联线性注意力层负责高效处理长序列。*其中穿插着一种叫**Gated Delta NetworkGDN门控德尔塔网络***一种线性注意力变体用一个固定大小的状态矩阵来记录历史信息而不像传统注意力那样保存所有历史词的键值对因此在处理长序列时效率更高。*的组件。这类组件的核心特点是它维护一个尺寸固定的记忆状态每来一个新词就更新一次这个状态而不是像传统注意力那样把所有历史词的信息都存下来慢慢查找。这就带来一个新问题如果两段文字是并行生成的它们各自更新出来的记忆状态怎么合并论文的解法很漂亮他们发现GDN的状态更新公式本质上是一个仿射变换也就是可以写成新状态等于旧状态乘以一个矩阵A再加上一个矩阵B的形式。既然是这种线性关系那么无论多少步更新叠加在一起最终都能被压缩成一对矩阵用来描述输入什么状态就会输出什么状态这种整体映射关系。有了这个压缩表示两个缓存块想要拼接的时候直接把各自那对矩阵按照某种规则相乘就行完全不需要把每个词重新过一遍。这个操作只需要计算块的数量这么多次矩阵运算而不是词的数量那么多次效率提升是数量级上的。论文还进一步指出这套逻辑不只适用于GDN只要一种线性注意力的状态更新是仿射形式的比如KDA把标量衰减换成了逐维度的门控同样的合并公式依然成立只是矩阵的具体定义变了一下。视觉信息也要跟上节奏现在的模型不光处理文字还得处理图片和视频。这就引出了**MRoPE***多模态旋转位置编码给图像、视频中的每个视觉token同时标注时间、行、列三个维度的位置信息让模型能理解视觉内容在时间和空间上的排布。*的问题。当AsyncLLM要拼接一个包含图像的缓存块时需要格外小心一张图片往往对应多个视觉token但这些token在时间轴上只占很短的一段。这就好比你看一本相册每一页可能贴了很多张照片但这一页在时间顺序上其实只代表某一天不能因为这一页贴了十张照片就把它当成十天来计算。论文的解决办法是明确记录每个缓存块在时间轴上到底跨越了多少个位置而不是简单地按照token的数量去推算时间这样才能保证图像和视频的位置编码在拼接后依然准确。光有理论还不够得能跑起来以上都是数学层面的巧妙设计但真正要落地还得解决工程调度的问题。论文的团队基于一个叫**mini-SGLang***一个开源的轻量级大模型推理框架AsyncLLM在这个基础上搭建了自己的推理引擎。*的框架搭建了推理引擎核心挑战是怎么把多个并行的协程调度到同一批GPU计算里同时不让某个耗时很长的后台任务把响应速度要求高的前台任务给堵死。论文提出了一种类似网络流量控制的均衡调度策略配合**分块预填充***Chunked Prefilling把一次很长的文本编码请求切成多个小块处理让它可以和其他任务的逐词生成穿插在一起执行避免长请求独占计算资源。*技术让快速的响应型任务不会被慢速的背景推理任务拖慢。这就像餐厅后厨排菜单如果厨师严格按照先来后到处理那一份需要炖三个小时的菜肯定会让后面所有点了简单菜的顾客一直等。合理的做法是把炖菜拆成若干个阶段穿插处理保证简单的菜能优先出锅同时炖菜也在稳步推进谁都不会被无限期地卡住。实验能不能真的听懂你中途插的话理论说得再漂亮最终还是要看实际效果。论文先做了一个最简单的测试让模型开始解一道数学题或者看图回答问题然后在它思考到一半的时候突然插入一条补充信息或者纠正看看模型能不能顺势调整自己的答案。对于文字场景他们用了一个叫MATH-500-Sharded的数据集把500道数学题拆成不完整的问题和补充说明两部分在模型推理到第k步时插入补充说明。对于图像场景他们专门构造了一个叫**ShardedVQA***论文自己构建的视觉问答数据集包含513对图像每对图像里有一张错误版和一张修正版用来测试模型能不能在推理过程中根据新证据修正结论。*的数据集让模型先看一张被人为篡改过、带有错误信息的图片开始推理思考到一半突然把图片换成正确版本看看模型能不能意识到之前的判断需要修正。实验结果显示不管是文字还是图像输入AsyncLLM都能让模型在收到新信息后调整推理方向准确率随着插入时机的推迟也就是模型已经想得越深会有所下降但整体趋势是合理的说明这种边想边收新信息的能力不需要专门训练就能激活。更复杂的场景追体育比赛直播单条信息插入只是热身真正考验框架泛化能力的是连续不断的信息流场景比如实时视频理解。论文在两个基准上做了测试一个是足球比赛解说数据集SoccerNet-Caption另一个是综合视频问答基准ProactiveVideoQA。这套异步智能体的架构挺有意思它由五个并行运作的小部件组成。首先有一个**事件探针***Event Probe每帧视频过来时快速判断这一帧和上一帧之间是否发生了值得描述的新事件通常是通过给模型一个预填充的模板句子让它一次前向传播就给出是或否的判断。*一旦探针判断有新事件发生就把这两帧图像交给一个持续运转的后台思考线程这个线程负责把零散的画面串联成连贯的事件描述。同时还有另一个**输出探针***检查后台思考线程里是否已经积累出一个可以对外播报的新事件判断方式和事件探针类似。*如果输出探针判断可以播报了就唤醒一个描述生成器把思考过程总结成一句话讲给观众听。最后还有一个不涉及大模型运算的协调线程负责把各方产出的内容汇总起来控制时间节奏。有意思的是论文里用的这些探针全部是免训练的不是像其他专门做流式视频理解的工作那样单独训一个探针模型而是直接用底层大模型本身给它一个预先写好的判断模板跑一次前向传播就能拿到结果。实验结果对比了三个不同规模的Qwen 3.x模型和一个专门为流式视频训练的Mage-VL模型。数据显示AsyncLLM搭配Qwen3.5以上版本的模型在两个基准上的表现都超过了专门训练的Mage-VL比如在SoccerNet上ROC-AUC从Mage-VL的0.555提升到了最高0.677在ProactiveVideoQA的综合指标上也从0.428提升到了0.541。这个结果挺打破直觉的一个通用大模型不经过任何针对流式场景的专门训练居然能超过专门为这个任务量身定制的模型。论文的解释是这大概是通用大模型知识面更广、推理能力更强所带来的正向副作用而不是说专门训练的模型设计得不好只是它训练时优先照顾的是别的指标。从被动观察到主动出手打游戏前面说的视频理解还只是看懂发生了什么接下来论文往前迈了一步测试模型能不能看懂并做出反应也就是玩游戏。他们选用了经典的第一人称射击游戏Doom改造的ViZDoom环境测试了两个场景一个是收集医疗包一个是生存走廊。异步智能体的架构做了相应调整后台的慢速思考模块负责决定战略方向比如向右转直到瞄准最右边的敌人前台一个快速的动作子程序负责把这个战略拆解成逐帧的具体操作并且带有一个提前退出的判断机制一旦条件满足就立刻输出动作不用等后台想得多细致。对照组是两种基线智能体一种是顺序推理的智能体每一帧都要先写一段简短的推理再决定动作另一种是更快的纯探针智能体跳过推理直接靠模板选动作。实验数据画在一张图上横轴是从观察到做出动作的平均延迟用前向传播次数衡量纵轴是平均获得的奖励。结果显示AsyncLLM智能体能在延迟远低于顺序推理智能体的情况下依然保持接近甚至媲美顺序推理带来的奖励提升说明边想边动的架构确实兑现了它承诺的速度优势而没有牺牲太多决策质量。论文还做了一个更大胆的尝试让模型自己根据环境描述来设计自己的协程结构而不是由人类工程师预先写好架构。结果是在收集医疗包这个相对简单的场景里表现不错但在更复杂的生存走廊场景里表现就差了一些这说明目前大模型自我设计并发架构的能力还不够稳定可靠属于一个初步的、有潜力但还不成熟的方向。系统监控给服务器当看门人最后一个测试场景转向了运维领域评估AsyncLLM能不能胜任系统监控智能体的角色也就是实时盯着服务器日志判断有没有内存泄漏、文件句柄耗尽之类的异常情况。论文用的是DevOps-Gym基准里的监控子集一共34个任务。原始的评测方式只关心准确率但这篇论文额外关注了响应速度也就是模型多快能给出判断用了多少次前向传播。有个细节挺值得说研究者发现如果不给模型加一段专注提示Qwen 3.6-35B-A3B会陷入过度思考的陷阱纠结一些和资源使用无关的琐碎问题结果导致处理速度跟不上实时日志的更新准确率暴跌到不足10%。这其实揭示了一个有点讽刺的现象给AI更强的推理能力如果不加约束反而可能让它在不该纠结的地方钻牛角尖耽误了真正紧急的任务。加上限定范围的提示词之后问题得到了明显缓解。最终数据显示两个测试模型在AsyncLLM架构下都能维持和顺序推理相当的准确率但所需的前向传播次数大幅减少比如Qwen3.6-35B-A3B从8452次降到3837次几乎减半同时平均处理的事件比例也有所下降说明模型学会了更聚焦地处理真正重要的信息而不是每条日志都要仔仔细细过一遍。这套框架到底证明了什么把这几个场景串起来看一个挺清晰的结论浮现出来异步反应能力并不需要为每个应用单独训练一个模型它更像是大模型在预训练阶段就隐约具备的一种潜在技能只需要用合适的方式把它框出来。这就像一个学过很多门语言的人即便从没专门学过同声传译只要给他合适的辅助工具和练习场景他也能勉强做到边听边译虽然可能不如专门训练过的同传那么流畅但这种能力的确是从他已有的语言基础里自然延伸出来的不是从零开始凑出来的。如果没有AsyncLLM这样的框架会发生什么答案其实就是论文开头描述的现状每个应用场景各自为战语音助手团队训一套模型视频理解团队训另一套系统监控团队再训第三套彼此的技术积累互不流通重复投入大量资源解决本质上相似的并发问题。论文也很坦诚地承认了这套方法目前的局限。AsyncLLM智能体在专属任务上通常打不过专门训练的模型这一点和早期的通用工具调用智能体走过的路很像早期那些通用智能体刚出现时也是不如领域专家模型精细但它们胜在灵活能快速适配全新的场景。文章结尾也提出了两个值得继续深挖的方向一是能不能专门训练大模型让它成为更擅长异步操作的通用智能体就像现在专门训练模型成为更擅长工具调用的智能体一样二是继续探索智能体自己动手改造自己并发结构的能力虽然目前这个能力还不够可靠但它指向了一个挺令人兴奋的可能性那就是未来的AI或许能根据环境描述自动搭建出最适合当前任务的推理架构而不需要人类工程师手把手设计。写在后面读到系统监控那部分实验的时候有个细节让我停下来想了很久给模型加一个别乱想专注当前问题的提示词居然能把准确率从不到10%拉到四五十。这说明推理能力强这件事如果没有约束反而可能变成一种负担模型会在不该深究的地方钻牛角尖错过真正紧急的事情。这和我们平时说的想太多反而误事其实是同一个道理只是没想到大模型也会犯这个毛病。另一个让我印象深刻的地方是Mage-VL的对比结果。一个专门为流式视频训练的模型居然被没做任何专项训练的通用模型打败了这多少打破了专用模型必然优于通用模型这个默认预期。当然论文也说得很清楚这不代表专用训练没有价值只是说明通用能力的基础盘足够扎实的时候它带来的泛化红利可能比专项优化更划算至少在这个特定阶段是这样。至于自我设计协程结构那部分实验虽然效果还不太稳定但这个方向本身挺让人好奇的如果模型真的能读懂一个陌生环境的规则然后自己想清楚该怎么组织并发的思考和动作这其实是在往AI给自己写操作系统这个方向迈了一小步。这条路能走多远现在还不好说但至少这篇论文让人看到了这个问题第一次被认真提出来的样子。QAQ1AsyncLLM是什么AAsyncLLM是一个让大语言模型实现异步并发操作的通用框架它通过让多个推理任务共享同一份记忆状态让模型可以像人类一样边听边想边说不需要针对每个场景单独训练。Q2AsyncLLM为什么比专门训练的流式视频模型效果还好A论文实验显示AsyncLLM搭配Qwen3.5以上通用模型在SoccerNet和ProactiveVideoQA两个基准上都超过了专门训练的Mage-VL模型原因可能是通用大模型知识面更广、推理能力更强这种优势超过了专项训练带来的针对性收益。Q3AsyncLLM能不能让AI自己设计自己的并发结构A论文做了初步尝试让模型根据环境描述自己定义协程架构结果在简单场景收集医疗包表现不错但复杂场景生存走廊表现较差说明这个能力目前还不够稳定是一个有潜力但尚未成熟的研究方向。
你有没有想过为什么和Siri或者Alexa聊天的时候总感觉在跟一个反应迟钝的人打交道你说完一句话它要停顿一下才开始处理处理完了才能回应如果你中途想插一句话打断它系统往往要愣一下才能反应过来。这种你说完我再想我想完你再说的模式其实暴露了现在大语言模型一个很根本的问题它们天生是为轮流对话设计的。想想人类是怎么交流的。你和朋友聊天的时候从来不是先听完对方说完整整一段话才开始琢磨怎么回应。你其实是边听边想甚至对方话还没说完你已经在脑子里组织语言了。这种边听边想边说的能力是我们进化出来处理连续信息流的本能。但AI模型不是这样长出来的。它们是在一堆一问一答的文本上训练出来的脑子里天生就刻着读完再想想完再回这个顺序。这就造成了一个很尴尬的局面现实世界里几乎所有需要实时反应的场景从语音助手到自动驾驶从监控系统到打游戏都需要AI一边接收新信息一边处理旧任务可AI骨子里就不是这么设计的。那怎么办现在业内的做法基本是一个场景一套方案。做语音助手的专门训练一个全双工模型来处理边听边说做机器人的搞一套双系统架构让机器人边思考边行动做视频理解的再单独训一个模型来判断哪些视频帧值得关注。每个团队都在为自己的场景单独造轮子谁也没想过这些看似五花八门的场景背后可能藏着同一套底层逻辑。这篇论文的作者们就是奔着这个问题去的。他们提出了一个叫做**AsyncLLM***异步大语言模型框架一套让开发者或者AI自己用协程的方式定义并行推理任务的框架核心思想是让多个推理任务共享同一份记忆从而实现真正意义上的并发。*的框架核心主张很直接异步能力应该是大模型的一种通用技能就像它们能用工具、能举一反三一样不应该是每个场景都要单独训练的专属功能。问题到底难在哪里要理解这个框架的巧妙之处得先搞清楚异步这件事本身有多棘手。假设你让一个AI模型一边琢磨一道数学题一边把思考过程实时讲给你听。传统做法是模型生成一段文字你读一段模型再生成下一段。但如果模型想要真正做到边想边说比如一个后台线程在专心推理另一个前台线程实时把推理进展总结给你听这两个线程之间怎么沟通最直接的想法是让它们通过文字互相传话。可这样做的代价很大每当后台推理产生一个新想法前台总结线程如果想看到这个新想法就得把之前已经生成的所有文字重新编码一遍。这就好比两个人写信联系每次对方回信之前你都要把自己之前写过的所有信重新抄一遍确认没有变化效率低到没法用在实时场景里。那能不能让它们直接共享大脑里的记忆而不是靠传话这就是AsyncLLM要解决的核心技术难题。论文里管这个记忆叫**CacheBlock***缓存块模型在处理一段连续文本或图像时内部保存的注意力键值缓存和状态信息可以理解成模型读到这里、想到这里时脑子里留下的印记。*每次模型做一次推理都会往某个缓存块里写入自己的思考痕迹同时还可以偷看其他缓存块里别人的思考痕迹这种偷看的方式论文里叫做**cache_view缓存视图***一次推理请求可以同时看到多个缓存块的组合方式决定了这次思考能参考哪些已有的记忆。*为什么直接拼接记忆不管用问题来了如果两个并行的推理任务都在往自己的缓存块里写东西还互相偷看对方的进展这在数学上到底还成不成立传统的注意力机制严重依赖**RoPE***旋转位置编码一种给模型的注意力机制标注位置信息的方法让模型知道每个词在句子里排第几通常靠对查询向量和键向量做旋转变换来实现。*来记录每个词在序列里的位置。如果把两段本来是分开生成的文字硬拼在一起位置信息就全乱了模型就没法正确理解谁在前谁在后。这里论文引用了此前一项叫Hogwild!的工作提出的一个巧妙数学技巧。核心洞察是这样的注意力计算本质上关心的是查询和键之间的相对距离而不是它们各自的绝对位置。既然如此不需要每次都把已经存好的历史记忆重新旋转到新的位置只需要在计算的那一刻临时调整一下当前查询向量的旋转角度就行了。这就像图书馆管理员整理书架。如果每次有人来借一本新书你都要把架子上所有旧书按照新的排列顺序重新摆一遍那这个图书馆永远处于混乱状态效率极低。但如果你换个思路书永远放在原来的位置不动只是每次有人来查询时临时计算一下这本新书相对于那本旧书差了几个格子你就不需要移动任何一本旧书查询照样能准确完成。这正是这个技巧的精髓保持历史记忆原地不动只在推理那一刻做相对位置的临时校正。如果不用这个技巧会发生什么每次两个并行任务想要互相偷看进展就必须重新计算一遍所有历史缓存的位置编码计算量随着对话变长而线性增长实时性根本无从谈起。现代大模型远比传统注意力复杂但这里有个更麻烦的事情。上面这套技巧只对经典的全注意力层有效而现在最先进的开源大模型比如Qwen 3.5以上的版本早就不是纯粹的全注意力架构了。它们往往是**混合架构***Hybrid Architecture把传统的全注意力层和线性注意力层交替混合使用的模型结构全注意力层负责捕捉全局关联线性注意力层负责高效处理长序列。*其中穿插着一种叫**Gated Delta NetworkGDN门控德尔塔网络***一种线性注意力变体用一个固定大小的状态矩阵来记录历史信息而不像传统注意力那样保存所有历史词的键值对因此在处理长序列时效率更高。*的组件。这类组件的核心特点是它维护一个尺寸固定的记忆状态每来一个新词就更新一次这个状态而不是像传统注意力那样把所有历史词的信息都存下来慢慢查找。这就带来一个新问题如果两段文字是并行生成的它们各自更新出来的记忆状态怎么合并论文的解法很漂亮他们发现GDN的状态更新公式本质上是一个仿射变换也就是可以写成新状态等于旧状态乘以一个矩阵A再加上一个矩阵B的形式。既然是这种线性关系那么无论多少步更新叠加在一起最终都能被压缩成一对矩阵用来描述输入什么状态就会输出什么状态这种整体映射关系。有了这个压缩表示两个缓存块想要拼接的时候直接把各自那对矩阵按照某种规则相乘就行完全不需要把每个词重新过一遍。这个操作只需要计算块的数量这么多次矩阵运算而不是词的数量那么多次效率提升是数量级上的。论文还进一步指出这套逻辑不只适用于GDN只要一种线性注意力的状态更新是仿射形式的比如KDA把标量衰减换成了逐维度的门控同样的合并公式依然成立只是矩阵的具体定义变了一下。视觉信息也要跟上节奏现在的模型不光处理文字还得处理图片和视频。这就引出了**MRoPE***多模态旋转位置编码给图像、视频中的每个视觉token同时标注时间、行、列三个维度的位置信息让模型能理解视觉内容在时间和空间上的排布。*的问题。当AsyncLLM要拼接一个包含图像的缓存块时需要格外小心一张图片往往对应多个视觉token但这些token在时间轴上只占很短的一段。这就好比你看一本相册每一页可能贴了很多张照片但这一页在时间顺序上其实只代表某一天不能因为这一页贴了十张照片就把它当成十天来计算。论文的解决办法是明确记录每个缓存块在时间轴上到底跨越了多少个位置而不是简单地按照token的数量去推算时间这样才能保证图像和视频的位置编码在拼接后依然准确。光有理论还不够得能跑起来以上都是数学层面的巧妙设计但真正要落地还得解决工程调度的问题。论文的团队基于一个叫**mini-SGLang***一个开源的轻量级大模型推理框架AsyncLLM在这个基础上搭建了自己的推理引擎。*的框架搭建了推理引擎核心挑战是怎么把多个并行的协程调度到同一批GPU计算里同时不让某个耗时很长的后台任务把响应速度要求高的前台任务给堵死。论文提出了一种类似网络流量控制的均衡调度策略配合**分块预填充***Chunked Prefilling把一次很长的文本编码请求切成多个小块处理让它可以和其他任务的逐词生成穿插在一起执行避免长请求独占计算资源。*技术让快速的响应型任务不会被慢速的背景推理任务拖慢。这就像餐厅后厨排菜单如果厨师严格按照先来后到处理那一份需要炖三个小时的菜肯定会让后面所有点了简单菜的顾客一直等。合理的做法是把炖菜拆成若干个阶段穿插处理保证简单的菜能优先出锅同时炖菜也在稳步推进谁都不会被无限期地卡住。实验能不能真的听懂你中途插的话理论说得再漂亮最终还是要看实际效果。论文先做了一个最简单的测试让模型开始解一道数学题或者看图回答问题然后在它思考到一半的时候突然插入一条补充信息或者纠正看看模型能不能顺势调整自己的答案。对于文字场景他们用了一个叫MATH-500-Sharded的数据集把500道数学题拆成不完整的问题和补充说明两部分在模型推理到第k步时插入补充说明。对于图像场景他们专门构造了一个叫**ShardedVQA***论文自己构建的视觉问答数据集包含513对图像每对图像里有一张错误版和一张修正版用来测试模型能不能在推理过程中根据新证据修正结论。*的数据集让模型先看一张被人为篡改过、带有错误信息的图片开始推理思考到一半突然把图片换成正确版本看看模型能不能意识到之前的判断需要修正。实验结果显示不管是文字还是图像输入AsyncLLM都能让模型在收到新信息后调整推理方向准确率随着插入时机的推迟也就是模型已经想得越深会有所下降但整体趋势是合理的说明这种边想边收新信息的能力不需要专门训练就能激活。更复杂的场景追体育比赛直播单条信息插入只是热身真正考验框架泛化能力的是连续不断的信息流场景比如实时视频理解。论文在两个基准上做了测试一个是足球比赛解说数据集SoccerNet-Caption另一个是综合视频问答基准ProactiveVideoQA。这套异步智能体的架构挺有意思它由五个并行运作的小部件组成。首先有一个**事件探针***Event Probe每帧视频过来时快速判断这一帧和上一帧之间是否发生了值得描述的新事件通常是通过给模型一个预填充的模板句子让它一次前向传播就给出是或否的判断。*一旦探针判断有新事件发生就把这两帧图像交给一个持续运转的后台思考线程这个线程负责把零散的画面串联成连贯的事件描述。同时还有另一个**输出探针***检查后台思考线程里是否已经积累出一个可以对外播报的新事件判断方式和事件探针类似。*如果输出探针判断可以播报了就唤醒一个描述生成器把思考过程总结成一句话讲给观众听。最后还有一个不涉及大模型运算的协调线程负责把各方产出的内容汇总起来控制时间节奏。有意思的是论文里用的这些探针全部是免训练的不是像其他专门做流式视频理解的工作那样单独训一个探针模型而是直接用底层大模型本身给它一个预先写好的判断模板跑一次前向传播就能拿到结果。实验结果对比了三个不同规模的Qwen 3.x模型和一个专门为流式视频训练的Mage-VL模型。数据显示AsyncLLM搭配Qwen3.5以上版本的模型在两个基准上的表现都超过了专门训练的Mage-VL比如在SoccerNet上ROC-AUC从Mage-VL的0.555提升到了最高0.677在ProactiveVideoQA的综合指标上也从0.428提升到了0.541。这个结果挺打破直觉的一个通用大模型不经过任何针对流式场景的专门训练居然能超过专门为这个任务量身定制的模型。论文的解释是这大概是通用大模型知识面更广、推理能力更强所带来的正向副作用而不是说专门训练的模型设计得不好只是它训练时优先照顾的是别的指标。从被动观察到主动出手打游戏前面说的视频理解还只是看懂发生了什么接下来论文往前迈了一步测试模型能不能看懂并做出反应也就是玩游戏。他们选用了经典的第一人称射击游戏Doom改造的ViZDoom环境测试了两个场景一个是收集医疗包一个是生存走廊。异步智能体的架构做了相应调整后台的慢速思考模块负责决定战略方向比如向右转直到瞄准最右边的敌人前台一个快速的动作子程序负责把这个战略拆解成逐帧的具体操作并且带有一个提前退出的判断机制一旦条件满足就立刻输出动作不用等后台想得多细致。对照组是两种基线智能体一种是顺序推理的智能体每一帧都要先写一段简短的推理再决定动作另一种是更快的纯探针智能体跳过推理直接靠模板选动作。实验数据画在一张图上横轴是从观察到做出动作的平均延迟用前向传播次数衡量纵轴是平均获得的奖励。结果显示AsyncLLM智能体能在延迟远低于顺序推理智能体的情况下依然保持接近甚至媲美顺序推理带来的奖励提升说明边想边动的架构确实兑现了它承诺的速度优势而没有牺牲太多决策质量。论文还做了一个更大胆的尝试让模型自己根据环境描述来设计自己的协程结构而不是由人类工程师预先写好架构。结果是在收集医疗包这个相对简单的场景里表现不错但在更复杂的生存走廊场景里表现就差了一些这说明目前大模型自我设计并发架构的能力还不够稳定可靠属于一个初步的、有潜力但还不成熟的方向。系统监控给服务器当看门人最后一个测试场景转向了运维领域评估AsyncLLM能不能胜任系统监控智能体的角色也就是实时盯着服务器日志判断有没有内存泄漏、文件句柄耗尽之类的异常情况。论文用的是DevOps-Gym基准里的监控子集一共34个任务。原始的评测方式只关心准确率但这篇论文额外关注了响应速度也就是模型多快能给出判断用了多少次前向传播。有个细节挺值得说研究者发现如果不给模型加一段专注提示Qwen 3.6-35B-A3B会陷入过度思考的陷阱纠结一些和资源使用无关的琐碎问题结果导致处理速度跟不上实时日志的更新准确率暴跌到不足10%。这其实揭示了一个有点讽刺的现象给AI更强的推理能力如果不加约束反而可能让它在不该纠结的地方钻牛角尖耽误了真正紧急的任务。加上限定范围的提示词之后问题得到了明显缓解。最终数据显示两个测试模型在AsyncLLM架构下都能维持和顺序推理相当的准确率但所需的前向传播次数大幅减少比如Qwen3.6-35B-A3B从8452次降到3837次几乎减半同时平均处理的事件比例也有所下降说明模型学会了更聚焦地处理真正重要的信息而不是每条日志都要仔仔细细过一遍。这套框架到底证明了什么把这几个场景串起来看一个挺清晰的结论浮现出来异步反应能力并不需要为每个应用单独训练一个模型它更像是大模型在预训练阶段就隐约具备的一种潜在技能只需要用合适的方式把它框出来。这就像一个学过很多门语言的人即便从没专门学过同声传译只要给他合适的辅助工具和练习场景他也能勉强做到边听边译虽然可能不如专门训练过的同传那么流畅但这种能力的确是从他已有的语言基础里自然延伸出来的不是从零开始凑出来的。如果没有AsyncLLM这样的框架会发生什么答案其实就是论文开头描述的现状每个应用场景各自为战语音助手团队训一套模型视频理解团队训另一套系统监控团队再训第三套彼此的技术积累互不流通重复投入大量资源解决本质上相似的并发问题。论文也很坦诚地承认了这套方法目前的局限。AsyncLLM智能体在专属任务上通常打不过专门训练的模型这一点和早期的通用工具调用智能体走过的路很像早期那些通用智能体刚出现时也是不如领域专家模型精细但它们胜在灵活能快速适配全新的场景。文章结尾也提出了两个值得继续深挖的方向一是能不能专门训练大模型让它成为更擅长异步操作的通用智能体就像现在专门训练模型成为更擅长工具调用的智能体一样二是继续探索智能体自己动手改造自己并发结构的能力虽然目前这个能力还不够可靠但它指向了一个挺令人兴奋的可能性那就是未来的AI或许能根据环境描述自动搭建出最适合当前任务的推理架构而不需要人类工程师手把手设计。写在后面读到系统监控那部分实验的时候有个细节让我停下来想了很久给模型加一个别乱想专注当前问题的提示词居然能把准确率从不到10%拉到四五十。这说明推理能力强这件事如果没有约束反而可能变成一种负担模型会在不该深究的地方钻牛角尖错过真正紧急的事情。这和我们平时说的想太多反而误事其实是同一个道理只是没想到大模型也会犯这个毛病。另一个让我印象深刻的地方是Mage-VL的对比结果。一个专门为流式视频训练的模型居然被没做任何专项训练的通用模型打败了这多少打破了专用模型必然优于通用模型这个默认预期。当然论文也说得很清楚这不代表专用训练没有价值只是说明通用能力的基础盘足够扎实的时候它带来的泛化红利可能比专项优化更划算至少在这个特定阶段是这样。至于自我设计协程结构那部分实验虽然效果还不太稳定但这个方向本身挺让人好奇的如果模型真的能读懂一个陌生环境的规则然后自己想清楚该怎么组织并发的思考和动作这其实是在往AI给自己写操作系统这个方向迈了一小步。这条路能走多远现在还不好说但至少这篇论文让人看到了这个问题第一次被认真提出来的样子。QAQ1AsyncLLM是什么AAsyncLLM是一个让大语言模型实现异步并发操作的通用框架它通过让多个推理任务共享同一份记忆状态让模型可以像人类一样边听边想边说不需要针对每个场景单独训练。Q2AsyncLLM为什么比专门训练的流式视频模型效果还好A论文实验显示AsyncLLM搭配Qwen3.5以上通用模型在SoccerNet和ProactiveVideoQA两个基准上都超过了专门训练的Mage-VL模型原因可能是通用大模型知识面更广、推理能力更强这种优势超过了专项训练带来的针对性收益。Q3AsyncLLM能不能让AI自己设计自己的并发结构A论文做了初步尝试让模型根据环境描述自己定义协程架构结果在简单场景收集医疗包表现不错但复杂场景生存走廊表现较差说明这个能力目前还不够稳定是一个有潜力但尚未成熟的研究方向。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
