Electron LanguageModelMessageContent 对象详解：Prompt API 多模态输入的内容载体

Electron LanguageModelMessageContent 对象详解Prompt API 多模态输入的内容载体【免费下载链接】electron:electron: Build cross-platform desktop apps with JavaScript, HTML, and CSS项目地址: https://gitcode.com/GitHub_Trending/el/electronElectron 的实验性 Prompt API 让 Web 内容可以像调用 Chromium 标准LanguageModel接口一样把请求路由到开发者自己实现的本地 AI 处理器而LanguageModelMessageContent对象正是这套机制中每一条消息的内容单元用于承载text、image、audio三类多模态输入。读完本文你将掌握该对象两个字段的完整定义与取值组合规则、它与LanguageModelMessage的嵌套关系、从渲染进程LanguageModelAPI 到 utility 进程处理器的底层数据转换链路以及在实际代码中构造合法内容对象的实操方式。对象结构type 与 value 两个字段LanguageModelMessageContent对象结构文档只有两个字段字段类型说明typestring内容类型取值为text、image、audio之一valueArrayBuffer \| string内容的实际数据从 utility 进程的 gin 转换器源码 可以确认两种字段的配合关系type: textvalue为string直接携带文本内容。源码中对应dict.Set(type, text); dict.Set(value, val-get_text())type: imagevalue为ArrayBuffer承载位图的原始像素数据。源码先将 Chromium 内部的SkBitmap转换为 N32 预乘premultipliedRGBA 格式再写入ArrayBuffer若像素读取失败会抛出TypeError: Invalid bitmap content in prompttype: audiovalue为ArrayBuffer承载float32音频采样序列源码中按sizeof(float) * raw_data.size()计算缓冲区大小并拷贝原始std::vectorfloat数据。需要注意虽然类型签名写作ArrayBuffer | string但按type与value的组合约束实际应为text 用 string、image/audio 用 ArrayBuffer。转换器源码中还留有 TODO 注释说明图像像素与音频采样的具体数据布局形状、采样率等目前没有正式承诺自定义处理器在解析二进制数据时应以防御式处理为前提。该对象是LanguageModelMessage结构文档的组成部分每条消息由rolesystem/user/assistant、contentLanguageModelMessageContent[]数组以及可选的prefix布尔字段构成。prompt()等 API 允许传入多个内容项因此一条消息中可以混排文本、图像与音频这是多模态输入能力的直接来源。渲染进程侧LanguageModel API 如何消费该对象LanguageModelMessageContent面向的是 Web 内容一侧。要启用这套 API渲染进程需要打开 Blink 实验特性官方教程 local-ai-handler 给出了标准配置const win new BrowserWindow({ webPreferences: { enableBlinkFeatures: AIPromptAPI,AIPromptAPIMultimodalInput } });其中AIPromptAPI启用LanguageModel全局接口AIPromptAPIMultimodalInput启用图像/音频等多模态输入支持。窗口启用后页面内即可使用标准 API// 文本消息会被规范化为 { role: user, content: [{ type: text, value: ... }] } const model await LanguageModel.create(); const reply await model.prompt(hello world);一个值得注意的规范化行为当prompt()接收字符串简写输入时Electron 会把它转换为标准的消息数组。测试用例 明确验证了处理器最终收到的输入形态// spec/api-local-ai-handler-spec.ts 中的断言 expect(message.input).to.deep.equal([ { role: user, content: [{ type: text, value: hello world }], prefix: false } ]);同时该测试文件验证了直接传LanguageModelMessage[]的用法——content数组中每项就是本文主角LanguageModelMessageContent对象const input [ { role: user, content: [{ type: text, value: hello }] }, { role: assistant, content: [{ type: text, value: hi }] } ]; // model.prompt(input) // 测试断言每条消息的 prefix 都会被补为 false此外LanguageModel.create()的initialPrompts选项也接受同样的消息结构测试中有{ role: system, content: [{ type: text, value: You are Electron AI }] }的实例因此LanguageModelMessageContent同样适用于系统提示词的定义。底层链路mojo 结构如何转换成 JS 对象从源码结构看整个 Prompt API 的调用链是渲染进程页面调用LanguageModel接口 → Blink 通过 mojo 把AILanguageModelPrompt结构发到浏览器进程 → ProxyingAIManager 将请求代理转发到通过session.registerLocalAIHandler()注册的 utility 进程 → utility 进程的转换器 把 mojo 结构转成 JS 字典交给开发者代码。其中Converterblink::mojom::AILanguageModelPromptContentPtr就是LanguageModelMessageContent的生成点mojo 侧的 oneof 结构text / bitmap / audio被逐一映射为{ type, value }字典外层Converterblink::mojom::AILanguageModelPromptPtr再组装出role、content、prefix三个字段。也就是说你在 utility 进程处理器里拿到的每个 content 对象其字段名和取值text/image/audio都由这层转换器固定下来。浏览器进程侧还有一个可用性兜底ProxyingAIManager::CanCreateLanguageModel使用WrapCallbackWithDefaultInvokeIfNotRun把未响应的检查默认置为不可用。对应的测试行为是utility 进程崩溃或未注册处理器时LanguageModel.availability()一律返回unavailable页面侧不会挂起。utility 进程侧LanguageModelUtility 中的使用在主进程侧LanguageModelUtility 类是本地 AI 模型的 JS 实现载体它的三个接受消息数组的方法都以LanguageModelMessage[]为输入即间接消费LanguageModelMessageContentlanguageModelUtility.prompt(input, options) // Promisestring | PromiseReadableStreamstring languageModelUtility.append(input, options) // Promiseundefined languageModelUtility.measureContextUsage(input, options) // Promisenumberprompt(input, options)对模型发起提示并获取响应append(input, options)仅追加消息到上下文不产生响应measureContextUsage(input, options)计算输入将占用的 token 数。因此在 utility 进程的处理器脚本中你可以按item.type分支处理不同内容项——text直接读取字符串image/audio则通过item.valueArrayBuffer拿到原始字节交由自建的本地模型推理引擎消费。适用前提与注意事项实验特性LanguageModelUtility的全部方法与渲染进程LanguageModelAPI 均标注为 Experimental见 LanguageModelUtility 文档接口仍可能调整双端启用完整链路需要渲染进程开启AIPromptAPI等 Blink 特性、utility 进程实现并注册 handlersession.registerLocalAIHandler(aiHandler)缺一不可二进制格式未定型image 与 audio 的ArrayBuffer数据布局目前以源码实现为准N32 预乘像素 / float32 采样源码中的 TODO 表明官方尚未承诺稳定格式跨版本使用二进制内容时建议做兼容性校验默认值行为消息的prefix字段在从 API 传入后被统一补为false测试断言可验证处理器实现无需自己补全该字段。相关资源LanguageModelMessageContent 结构定义LanguageModelMessage 结构定义LanguageModelUtility API 文档local-ai-handler 教程utility 进程消息转换器实现浏览器进程请求代理实现Prompt API 行为测试【免费下载链接】electron:electron: Build cross-platform desktop apps with JavaScript, HTML, and CSS项目地址: https://gitcode.com/GitHub_Trending/el/electron创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考