点了停止,模型为什么还可能继续跑

发布时间:2026/10/22 5:30:11

点了停止,模型为什么还可能继续跑 按钮、浏览器、SSE 服务和上游模型是四个不同的停止边界。摘要我沿 Microi吾码当前 AI 流式链路从停止按钮追到 AbortController、SSE、服务端和上游调用。结论点击停止可结束浏览器读取只有取消信号继续穿过服务端并被提供方接受才能说模型已停止。本文绑定当前源码行号、SHA-256 与一次5/5聚焦测试并区分源码推断和未做的生产验证。✦① 用户点下的不是一只总闸在 Microi吾码当前 AI 对话界面里停止按钮做了两件确定的事调用 abortController.abort()再把 sending 设为 false。这足以让页面停止等待与渲染却不能自动证明远端 GPU 已经结束计算。原因是一次流式生成至少经过四层UI 状态、浏览器 Fetch、服务端 SSE 与上游模型。每一层都能独立结束也都可能没有把“取消”继续传给下一层。任意一层只结束自己的工作都不能替下一层作保证。先给结论用户看到“停止输出”直接证明的是客户端不再读取只有服务端取消令牌和提供方确认都成立才等于模型停止。用户点击停止 → UI 清掉 sending → AbortSignal 终止 fetch → 连接关闭是否被服务端感知 → CancellationToken 是否继续传入模型调用 → 提供方是否确认停止与结算✦② SSE 解决的是连续送达不是自动取消普通 /api/Ai/ChatStream 当前明确返回 text/event-stream并设置 no-cache、keep-alive 与 X-Accel-Buffering: no。服务端把内容包装成 event: 与 data:每写一帧就执行 FlushAsync()。这解释了文字为什么能像打字机一样抵达。message逐段文本客户端累积后更新回答。result最终结构化结果客户端尝试 JSON 解析。error失败信息客户端转为异常或错误结果。done服务端发送 [DONE]表示正常流结束。关键差别Flush 证明数据已经被推出服务端缓冲区它并不等于浏览器仍在接收更不等于上游计算收到取消。✦③ 浏览器这层其实做得很清楚当前页面在发起 ChatStream 前新建 AbortController并把 signal 交给 fetch。点击停止后正在等待的读取会以 AbortError 一类的方式结束。通用 V8.AI.ChatStream 也支持从调用参数接收 Signal。这条 SDK 还先清除调用方伪造的 OsClient、用户、ApiKey、Endpoint、Token 和 Authorization再由宿主注入平台上下文。也就是说取消能力可以开放给调用者身份边界仍然不能交给调用者覆盖。const controller new AbortController(); V8.AI.ChatStream(param, onChunk, { Signal: controller.signal }); // 用户只是在浏览器侧先发出取消意图 controller.abort();客户端语义AbortController 的成功标准是本次 Fetch/读取停止不要把它的成功文案写成“已停止模型计费”。✦④ 同样是流式接口服务端取消链路并不相同当前源码里代理流显式传入 RequestAborted普通 ChatStream 的可见调用没有。普通 ChatStream 调用 _microiAi.ChatStreamWithContextAsync(param, chunkCallback)当前参数未见 HttpContext.RequestAbortedProxyChatStream 则把该令牌明确交给 ExecuteAuthenticatedStreamAsync。因此可以做一个有边界的源码推断普通路径的浏览器停止不足以证明取消信号已穿透到上游代理路径至少在控制器这一段完成了令牌传递。但这仍不是生产模型计费取消的实测。已确认前端普通 ChatStream 的 Fetch 接收 AbortSignal。已确认普通控制器当前可见调用未传 RequestAborted。已确认代理流控制器显式传入 RequestAborted。未确认具体模型提供方是否支持中途取消、何时停止计费。证据边界“源码没传令牌”与“模型一定继续跑到最后”不是同一句话后者还需要生产追踪与提供方账单回读。✦⑤ 这次真正跑了什么测试当前本地执行 5 项测试全部通过失败为 0。我在当前 Microi.Client 执行 npm run test:v8-ai5 项测试、5 项通过、0 项失败TAP 报告 634.7597 ms命令墙钟 3237 ms。流式用例真实喂入“你”“好”两个 message 分片、一个 result 与一个 done并检查最终结果和 Token 轮换。tests: 5 pass: 5 fail: 0 duration_ms: 634.7597 received [你, 好] result { Code: 1, Data: { Answer: 你好 } }测试没有证明什么这组测试证明 SSE 解析、身份字段清洗、结果组装和 Token 轮换它没有连接真实上游模型也没有测计费是否停止。✦⑥ 正确的产品设计是一套可对账的取消状态机取消不是一个布尔值而是一串可观测状态。给每次生成分配稳定 RequestId记录 started、cancel_requested、server_aborted、provider_acknowledged、completed。把 HttpContext.RequestAborted 继续传入业务层、HTTP 客户端与可取消的 SDK 调用不在中间换成新的无关令牌。区分提供方“支持取消”“连接断开即取消”“无法确认”三种合同避免统一写成成功。任务结束后回读模型结果、Token 用量或账单状态让取消成为可审计事实。如果只能关闭显示产品文案就写“已停止显示”不要写“模型已停止”。cancel_requested ├─ provider_acknowledged → cancelled_confirmed ├─ result_arrived_first → completed_before_cancel └─ no_authoritative_ack → cancelled_unknown unknown 不是 success也不应该盲目重试。设计原则把界面体验、连接生命周期、计算终止和费用结算拆开命名用户才不会被一个绿色“已停止”误导。✦⑦ 应该观测哪些指标要验证取消是否真的生效至少需要把客户端、服务端和模型提供方的时间线按同一 RequestId 串起来。只看浏览器控制台里出现 AbortError证据仍停在第一跳。cancel_click_to_fetch_abort_ms交互反馈是否及时。fetch_abort_to_server_aborted_ms断连是否被服务端感知。server_aborted_to_provider_ack_ms上游是否确认取消。tokens_before_cancel / tokens_after_cancel取消后是否仍持续产生用量。late_result_after_cancel_rate取消后迟到结果的比例与处理策略。实施提醒这些是建议新增的观测项不是本文声称 Microi吾码当前已经采集的线上指标。✦⑧ 结尾停止必须被逐层证明Microi吾码当前前端已经给了用户及时停止读取的能力SSE 也有清楚的事件格式与即时 Flush代理流还显式携带 RequestAborted。真正值得继续补强的是让普通 ChatStream 的取消语义一路贯穿并把提供方确认与用量对账纳入同一个请求状态。所以下次看到“停止”按钮时可以先问一句它停止的是页面、连接、服务端工作还是模型计算能回答到哪一层产品就只能承诺到哪一层。本文验证范围当前本地源码 SHA、行号与 2026-08-22 聚焦测试成立没有把源码分析冒充生产发布、真实提供方取消或账单验证。
延伸阅读

更多相关文章

2026/10/20 15:19:32

DM在水平分区表建立索引:提升大数据环境下查询性能的关键技术

一、DM水平分区表建立索引概述 1.1 DM数据库分区表的基本概念 DM数据库作为中国自主研发的数据库管理系统,其分区表技术允许将大型表数据分散存储在多个物理分区中,从而提高数据管理效率和查询性能。水平分区表是指按照特定条件将表的数据行划分到不同的…

2026/10/20 14:14:08

她把最后一颗种子送进风暴:18秒如何讲清选择与代价

一颗种子、一个拉杆、一次个人记忆的熄灭:18秒只保留能改变世界的动作。 摘要| 《风眼种库》是一支原创18秒横屏电影短片:风暴逼近,21岁亚洲成年种库工程师必须在保住个人档案与重启城市清洁空气核心之间选择。她拉下释放杆&#…

2026/10/21 1:28:24

题解:洛谷 P1697 [USACO18JAN] Lifeguards B

本文分享的必刷题目是从蓝桥云课、洛谷、AcWing等知名刷题平台精心挑选而来,并结合各平台提供的算法标签和难度等级进行了系统分类。题目涵盖了从基础到进阶的多种算法和数据结构,旨在为不同阶段的编程学习者提供一条清晰、平稳的学习提升路径。 欢迎大家订阅我的专栏:算法…

2026/10/22 5:27:44

华为云ModelArts实战:从零完成模型训练与部署全流程

1. 从零到一:为什么我选择用云端平台跑模型训练搞过机器学习项目的人都有一个共识:模型训练这件事,最折磨人的往往不是算法本身,而是环境。CUDA版本对不上、显卡驱动冲突、依赖包互相打架、本地机器显存不够……这些问题随便拎一个…

2026/10/22 5:27:44

零基础用AI开发产品:从需求描述到变现的完整指南

1. 为什么零基础的人现在也能用AI开发产品1.1 从“写代码”到“说需求”的转变放在三年前,一个完全不懂编程的人说“我想做个产品”,基本等于说“我想造火箭”。光是前端、后端、数据库、服务器这一套名词就能把人劝退。但现在情况完全变了,A…

2026/10/22 5:27:44

华为云ModelArts实战:从模型训练到在线部署全流程指南

1. 从零到一:为什么我选择在云上跑通模型训练与部署搞算法的人都有一个共同的痛点:本地机器跑不动。我刚开始做深度学习项目那会儿,用自己那台笔记本跑一个图像分类任务,一个epoch要等四十多分钟,风扇转得像直升机起飞…

2026/10/22 5:27:44

MongoDB索引实战:从慢查询诊断到复合索引与性能调优

1. 索引不是银弹:先搞清楚MongoDB在什么场景下会“慢”很多人第一次接触MongoDB索引,是因为某条查询突然变慢了。翻日志、看监控,发现一个原本几十毫秒的查询涨到了几秒,第一反应就是“加个索引吧”。这个直觉不算错,但…

2026/10/22 5:27:44

基于ROS的多无人机编队仿真:架构、算法与避坑指南

简介:一套基于ROS的多无人机编队仿真项目源码,面向无人机控制、算法和智能机器方向的研究者、竞赛队伍及ROS进阶学习者。项目中覆盖PX4/ArduPilot等底层控制接口、多机通信、路径规划、避障、视觉定位与编队协同等关键模块,并配套Gazebo等仿真…

2026/10/22 5:22:43

智慧药房赛项资源包解析:ROS导航与YOLOX检测工程实践

简介:这份资源是第二十五届中国机器人及人工智能大赛智慧药房组的完整参赛作品包,面向备战同类机器人竞赛的高校学生与指导教师,尤其适合需要参考赛题实现思路、搭建仿真与实机调试环境的中高级参赛者。压缩包共150个文件,约38.19…

2026/10/21 4:53:08

金融AI落地指南:从调研报告到技术选型与工程实践

简介:这份PDF报告聚焦2025年金融服务业中国AI现状与趋势,面向金融科技从业者、AI战略规划人员及关注行业数字化转型的研究者,帮助读者把握生成式AI在银行、支付、交易等场景中的落地路径与投资方向。资源包内含1个PDF文件,大小约1…

2026/10/22 0:01:49

电商智能运营体系从0到1:架构设计、落地步骤与避坑指南

前两年我们团队接了一个电商平台的运营中台项目,目标很直白:把过去靠运营拍脑袋做的选品、定价、发券、推活动这些事,逐步用数据算法和自动化流程代替。项目名字内部就叫“电商智能运营体系”。最近有不少朋友问我当时是怎么设计的、踩过哪些…

2026/10/22 0:01:49

若依框架AI代码生成不稳定?用Agent Skill三层结构+五步法搞定

最近一段时间,我一直想把后台管理系统里那些机械重复的增删改查代码交给AI去写。框架用的是若依,按理说这类业务代码模式非常固定,应该是AI最擅长的事情。可真试下来却不是那么回事——你让AI生成一个用户管理模块,它给出的Contro…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑