1. 为什么是 ESP32-S3从一块板子到陪伴设备的选型逻辑1.1 这个项目到底在做什么先交代一下背景。我手头这个项目目标很朴素做一台桌面上能陪人聊天、能显示表情、能记住用户偏好、还能通过语音完成小任务的 AI 陪伴设备。它不是音响不是平板也不是教育机器人更像一个有性格、有温度的桌面小伙伴。硬件侧以一块ESP32-S3开发板为核心外接麦克风、圆形屏幕、小喇叭和电池软件侧则是标准的端云架构——端侧负责语音拾取、唤醒、按键交互、显示状态和本地小逻辑云侧负责大模型对话、角色人设、语音合成、技能编排和内容安全。整台设备最核心的约束是硬件成本要低功耗要低但体验不能明显廉价。这篇文章想把我们从零到一搭建这套系统的完整思路写清楚包括为什么选ESP32-S3而不是其他方案、麦克风和屏幕怎么接、BLE配网怎么设计、云侧AI能力怎么编排、端云通信怎么做到既实时又不费电、以及最终怎么让整套架构可持续演进。如果你正在做类似的智能语音硬件、桌面机器人、陪伴类AI产品或者只是想在嵌入式设备上接入大模型这篇文章应该能帮你省掉不少弯路。1.2 芯片选型ESP32-S3 的取舍与优势先聊选型。其实在动手之前我列了一个需求清单设备必须支持 WiFi 联网、支持 BLE 配网、有足够的算力去跑音频前端VAD、唤醒词、能驱动一块小屏幕、最好还能做一点端侧轻量推理同时成本控制在几十元量级。在这个约束下树莓派和各类 Linux 小板子首先被排除了——成本太高、功耗太大、启动太慢。ESP32 初代也能用但单核 160MHz 的处理器在处理 I2S 麦克风数据加上 WiFi 协议栈时CPU 占用率经常顶到 80% 以上ESP32-S3 则好很多。ESP32-S3 最大的优势其实不是 AI 算力本身而是三件事的叠加双核 Xtensa LX7 处理器跑在 240MHz一颗核专门跑 WiFi/蓝牙协议栈另一颗核跑应用逻辑互不干扰内置向量指令扩展做轻量的特征提取、降噪滤波比普通 MCU 快不少最多支持 8MB 的 PSRAM 外挂这意味着你可以把更大的音频缓冲区、屏幕帧缓冲、甚至轻量级唤醒词模型放进内存而不必痛苦地做内存裁剪。我们选的具体型号是 ESP32-S3-WROOM-1 N16R8也就是 16MB Flash 加 8MB PSRAM 的模组版本。16MB Flash 主要用来装固件、字库、语音提示资源和未来 OTA 升级的备份区8MB PSRAM 则让同时跑屏幕刷帧、麦克风 DMA 缓冲和音频解码成为可能。在 ESP32-S3 上我甚至试着跑过为 MCU 量化过的 TinyML 分类模型虽然实际产品里没用到云侧算力太强了端侧做过重的推理性价比不高但这说明芯片的潜力是足够的。有一个容易被人忽略的决策点我们选的是带蓝牙功能的型号而 BLE 在项目里不是可选项而是配网和近场调试的刚需。后面我会专门用一章讲 BLE 配网这里先记住一个结论智能硬件如果没有蓝牙用户要连 WiFi 就必须走 SmartConfig 或者软 AP 那套流程体验极差。ESP32-S3 原生支持 BLE 5.0等于把配网这个老大难问题从硬件层面解决了。2. 端侧硬件搭建从零到能听会说的最小系统2.1 硬件清单与接线麦克风、屏幕、喇叭怎么接项目里的端侧硬件我把它拆成五个模块主控、音频采集、音频播放、显示、供电。具体的物料清单是这样的主控ESP32-S3-DevKitC-1N16R8开发阶段用开发板方便调试量产阶段会换成 ESP32-S3-WROOM-1 模组自绘底板。麦克风INMP441I2S 数字输出全向 MEMS 麦克风单只成本很低。用数字麦克风而不是模拟麦克风最大的好处是抗干扰。模拟麦克风信号线只要稍微长一点就会被 WiFi 天线和电源噪声污染I2S 走的是数字脉冲抗噪能力强一个量级。功放与喇叭MAX98357A I2S 数字功放加一个 3W 小喇叭。MAX98357A 同样走 I2S这样音频采集和播放可以共用同一条 I2S 总线分时复用。屏幕GC9A01240x240 圆形 TFT LCDSPI 接口。圆形屏天然适合做脸这个载体表情动画、聊天气泡、状态指示都靠它。供电3.7V 锂电池加一个充放电一体板Type-C 充电标称 1000mAh实测连续待机能跑十几个小时。接线方面我直接给出开发阶段的参考连接表。ESP32-S3 的引脚大部分可自由映射但有些引脚有特殊功能避开它们能少很多麻烦。模块信号ESP32-S3 引脚备注INMP441SCKGPIO4I2S 时钟与 MAX98357A 共用INMP441SDGPIO5数据输入麦克风专用INMP441WSGPIO6I2S 字选择与功放共用MAX98357ADINGPIO7数据输出功放专用MAX98357ABCLKGPIO4与上表 SCK 复用MAX98357ALRCGPIO6与上表 WS 复用GC9A01SCLKGPIO12SPI 时钟GC9A01MOSIGPIO11SPI 数据GC9A01CSGPIO10片选GC9A01DCGPIO9数据/命令选择GC9A01RSTGPIO8复位有几个接线时容易踩的坑提前说一下。第一GPIO7 在部分开发板上默认是 JTAG 引脚MTMS如果用作功放数据引脚下载固件时可能会报错——解决办法是先用 GPIO7 还要同时禁用 JTAG或者在 menuconfig 里把 JTAG 引脚复用关掉。第二INMP441 的 L/R 引脚要接 GND麦克风才会在 WS 信号的下降沿输出数据如果接 VDD采集到的就是反相的数据流声音会变成破音。第三I2S 总线共用时麦克风与功放必须在软件层面严格做到同一时刻只有一个设备在收发否则会互相串音。我们后来干脆在驱动层把发送和接收拆成两个任务用信号量保证互斥实测非常稳定。2.2 固件基础语音采集代码怎么写在 Arduino 框架下ESP32-S3 的 I2S 采集代码比 ESP-IDF 原生的要简单不少但要做产品我建议直接用 ESP-IDF 或者至少理解底层原理。核心是配置好 I2S 标准模式、16kHz 采样率、16bit 位宽、单声道。为什么选 16kHz这是语音识别领域的事实标准ASR 模型大多在 16kHz 下训练云侧语音服务接收的也是这个采样率再往上采样到 48kHz 对语音识别没有帮助还浪费带宽。一个可以直接用的初始化片段大致是这样ESP-IDF v5.x 的 driver/i2s_std.h API#include driver/i2s_std.h i2s_chan_handle_t rx_chan; void audio_init_mic(void) { i2s_chan_config_t chan_cfg I2S_CHANNEL_DEFAULT_CONFIG(I2S_NUM_0, I2S_ROLE_MASTER); i2s_new_channel(chan_cfg, NULL, rx_chan); i2s_std_config_t std_cfg { .clk_cfg I2S_STD_CLK_DEFAULT_CONFIG(16000), .slot_cfg I2S_STD_PHILIPS_SLOT_DEFAULT_CONFIG(I2S_DATA_BIT_WIDTH_16BIT, I2S_SLOT_MODE_MONO), .gpio_cfg { .mclk I2S_GPIO_UNUSED, .bclk GPIO_NUM_4, .ws GPIO_NUM_6, .dout IO_NUM_UNUSED, .din GPIO_NUM_5, .invert_flags false, }, }; i2s_channel_init_std_mode(rx_chan, std_cfg); i2s_channel_enable(rx_chan); }读取音频数据的循环也很直白int16_t mic_buffer[320]; // 10ms 16kHz size_t bytes_read 0; i2s_channel_read(rx_chan, mic_buffer, sizeof(mic_buffer), bytes_read, pdMS_TO_TICKS(100));注意这里的 buffer 大小。每次读 320 个 int16 样本正好是 10ms 的音频。10ms 这个粒度是为了配合 VAD语音活动检测——我们要用滑动窗口判断用户是不是在说话10ms 一帧是最常见的切分单位。采集音频数据后如果直接把原始 PCM 通过 WebSocket 推给云端会产生大约 32KB/s 的流量这有点不值得。所以我们在端侧做了一步简单的编码原先试过 ADPCM码率降到 16Kbps 但音质受损后改用 Opus 编码码率 16Kbps音质几乎无损。ESP32-S3 上跑 Opus 编码CPU 占用大约 10%完全可接受。这一步端侧编码是整个端云架构里第一个看起来不起眼但真的省带宽的设计。2.3 GC9A01 圆形屏幕陪伴设备的脸面GC9A01 是一颗很常见的圆形 TFT 驱动芯片分辨率 240x240SPI 接口刷新率在 30fps 到 60fps 之间。开发阶段我直接用了 TFT_eSPI 库这个库对 GC9A01 的支持很成熟只需要在 User_Setup.h 里配置好引脚和驱动型号。真正要花心思的是表情系统。因为屏幕是圆的矩形坐标系在某些图形上会有黑色角落所以我在绘制时统一用极坐标思维来处理圆形脸、眉眼、嘴型都围绕圆心做偏移和旋转。比如眨眼动画就是把椭圆眼睛的高度从 20 像素渐变成 2 像素再变回来用定时器驱动每 30ms 一帧嘴型则根据语音状态切换讲话时用一个随机幅度变化的弧线待机时显示一个安静的微笑曲线。这里有一个很重要的工程取舍屏幕的刷新不能和音频采集抢 CPU 时间。ESP32-S3 是双核我们把 WiFi 协议栈和音频采集放在核 0屏幕刷新和表情动画放在核 1中间用队列传递消息。如果不做这个核间隔离你会发现表情动画卡顿和麦克风丢数据会同时出现。实际测试中用 Arduino 的xTaskCreatePinnedToCore分别绑定两个任务稳定性提升非常明显。3. BLE 配网与设备激活让用户三分钟用起来3.1 为什么选 BLE 配网而不是 SmartConfig智能硬件配网是个老大难。SmartConfig 的原理是手机 App 把 WiFi SSID 和密码编码进 UDP 广播包设备在混杂模式下监听周围报文并解码。这个方案不需要蓝牙但有个致命缺陷成功率受路由器隔离策略、加密方式、信道环境的影响巨大在家用路由器上经常失败。BLE 配网则稳定得多。ESP32-S3 原生支持 BLE设备开机后进入广播状态手机 App 通过 BLE GATT 把 WiFi 凭据和设备激活 token 传给设备设备收到后尝试连接路由器连接成功再回报手机。整个过程链路短、反馈明确而且顺手完成了设备绑定——手机在 BLE 配对过程中拿到设备的 MAC 地址云端据此建立用户-设备的绑定关系。实际体验下来BLE 配网最常见的坑是手机蓝牙权限和 BLE 扫描间隔。Android 12 以上对蓝牙扫描有权限限制必须在 App 里申请BLUETOOTH_SCAN和BLUETOOTH_CONNECT权限iOS 则要确保 Info.plist 里声明了NSBluetoothAlwaysUsageDescription。我在测试时遇到过很多次扫描不到设备后来发现不是设备没广播而是手机侧没开定位权限或者蓝牙服务没初始化好。3.2 配网流程设计与状态机配网流程我建议做成一个清晰的状态机避免用户卡在某个环节不知道发生了什么。设备侧状态依次是IDLE - BLE_ADVERTISING - WIFI_CONNECTING - CLOUD_REGISTER - READY。每个状态都会同步显示在 GC9A01 屏幕上比如 BLE_ADVERTISING 时显示一个蓝牙图标加旋转动画WIFI_CONNECTING 时显示一个进度条。GATT 服务的结构设计也很关键。我们定义了一个自定义 ServiceUUID 以6e400001开头包含三个 CharacteristicCharacteristic属性用途SSID_CHARWrite接收 WiFi 名称PWD_CHARWrite接收 WiFi 密码TOKEN_CHARWrite接收云端激活 tokenSTATUS_CHARNotify设备上报配网状态流程是手机 App 先写入 SSID再写密码最后写 token设备每步都会回 CAN 或 ERR。这里注意一个细节用户输入的密码可能包含特殊字符甚至中文BLE 传输时统一按 UTF-8 编码设备端解码后不要做任何字符集转换直接以字节流传给 WiFi 驱动否则中文 SSID 会连不上。设备连接上 WiFi 后会立刻向云端注册接口发一次 HTTPS 请求带上设备 MAC、型号、固件版本和激活 token。云端校验通过后返回一个设备 ID 和长期会话密钥。这个密钥后续所有端云通信都会用到相当于设备的身份证。配网这件小事在端云架构里其实是第一道安全关口设计时就要把设备绑定和用户绑定一起完成不然设备卖了之后用户很容易被串号。4. 云侧 AI 能力编排从 API 调用到 Agent 化4.1 云侧架构总览接入层、会话层、模型层端侧设备采集完音频经过 Opus 编码后推上来的数据要去哪云侧有几个层次必须拆开接入层、会话层、AI 编排层、模型层。我见过不少项目直接把端侧数据打到某个大模型 API 上结果后期加需求时痛苦不堪。接入层是一套 WebSocket 服务专门维持设备的长连接。设备连接时用配网阶段拿到的会话密钥做 TLS 双向认证认证通过后在内存里维护一张设备连接表。会话层负责管理一次对话的完整生命周期接收音频流、调用语音识别ASR、把识别文本送入 AI 编排层、拿到文本回复后调用语音合成TTS、再把音频流回传给设备。模型层则是真正跑大模型推理的地方可以是大模型 API比如 OpenAI 兼容接口也可以是自部署的开源模型。为什么要做这么多层最关键的原因是可替换性。今天用的 ASR 服务效果不好要换成另一家的只需要改接入层的一小段适配代码明天大模型要切换成更便宜的版本只需在 AI 编排层改模型路由。如果所有逻辑都堆在一个函数里换任何一个组件都要回归整条链路。4.2 让模型懂设备System Prompt 与上下文管理AI 陪伴设备能不能做出陪伴感关键在于 System Prompt 的设计和上下文管理。我们给它做了三层配置第一层是设备能力描述。系统提示词里会写清楚你是一个名叫小贝的桌面陪伴 AI你运行在用户的桌面设备上设备有一个圆形屏幕可以显示表情有麦克风和喇叭可以播放音乐、设置提醒、开关智能家居。大模型必须知道自己身处什么环境才能给出合理的回答。比如用户说你现在能给我一个笑脸吗模型知道设备有屏幕就会回答我已经把表情切换成笑脸了同时代码层解析出切换表情这个动作驱动端侧屏幕变化。第二层是角色人设。我们把它设计成每个用户可以自定义的配置项用户可以在 App 里选择温柔闺蜜毒舌损友知识百科等不同人格。人格不同模型的语气、回复长度、表情触发习惯都会不同。这一层不是写死在代码里的而是作为配置存在云端的用户画像里端侧设备不关心人设细节它只负责展示结果。第三层是安全边界。这个必须强调陪伴设备可能面向儿童也可能在深夜和人聊天所以云侧必须要有一层内容审核。我们采用的是前置策略 后置兜底的方案System Prompt 里约束模型不回答医疗、法律、暴力等敏感话题同时把大模型的输出过一次内容安全检测命中风险词就打回重生成或降级成通用回复。上下文管理上陪伴设备有个特殊需求用户希望 AI记住自己。所以我们设计了短期会话缓存加长期记忆库的机制。短期会话是指最近十轮对话保存在 Redis 里因为大模型的上下文窗口有限十轮对话大约消耗 2000 到 3000 token长期记忆则是把用户的关键信息比如我喜欢看科幻小说我养了一只猫抽取成结构化记忆在每轮对话开始时注入 System Prompt。这个设计让设备越用越懂你是陪伴感的重要来源。4.3 语音链路的模型选型与 Agent 化扩展语音链路分三段ASR语音转文字、LLM文本对话、TTS文字转语音。端侧传来的 Opus 编码音频云侧先解码成 PCM 再送 ASR。ASR 选型上我们的经验是对于陪伴设备这种噪声环境相对可控的场景不用追求极致识别率反而要关注断句和标点恢复。因为大模型非常依赖标点符号来理解语义如果一句话没断句模型很容易理解错。目前主流云 ASR 服务都支持自动加标点这个功能建议一定打开。TTS 选型则是陪伴设备的体验分水岭。用机械感强的 TTS再好的文案也会翻车。我们早期用过普通拼接式 TTS用户反馈像个机器人一样后来换成基于神经网络的流式 TTS 服务支持在语音里插入情绪标签才终于有了人味。因为陪伴设备每句话都很短TTS 首包延迟比音质更紧我们实际把 TTS 服务的首包延迟目标定在 500ms 以内。Agent 化是最近我在迭代的新方向。原来你帮我设个明天早上八点的闹钟这种指令靠 Model 直接回复文本是不够的需要后端能解析意图并调用工具。我们用 Function Calling 的方式实现了这个能力大模型输出一段结构化的工具调用指令后端解析后调用闹钟服务的 API再把执行结果回填给模型让模型用自然语言告诉用户好闹钟已经设好了。这个机制让陪伴设备从一个聊天玩具真正变成了能完成任务的智能助手。对端侧来说这些都发生在云端端侧代码不需要任何改动——这就是可持续演进的直接体现。5. 端云通信与可持续演进架构5.1 通信协议选择MQTT 还是 WebSocket端云通信的需求有两个低延迟实时语音和低频小包状态控制。语音数据走 WebSocket因为它是全双工长连接天然适合持续的音频推流控制链路走 MQTT因为设备状态上报、云端指令下发这类小消息要省电、省流量还要支持离线消息排队。这里有个容易误解的点WebSocket 和 MQTT 不是二选一而是互补。我们的设备同时维护两条连接。语音会话期间WebSocket 负责搬运音频流和文本流平时没有语音任务WebSocket 关闭只保留 MQTT 连接。MQTT 的心跳周期设置成 60 秒这样既能及时感知设备掉线又能把待机电流控制在很低的水平。MQTT 的主题设计也很重要我直接给出我们最终用的主题结构esp32s3/{device_id}/status // 设备上报状态在线、电量、音量 esp32s3/{device_id}/command // 云端下发指令播放、暂停、自定义 esp32s3/{device_id}/config // 云端下发配置更新人格切换、提示词版本这里的关键是把指令和配置分开。指令是即时性的比如用户按下 App 上的暂停键配置是持久性的比如用户切换了角色人格。分开之后设备端的处理逻辑会非常清晰收到 command 就执行动作收到 config 就更新本地配置并持久化到 NVS。5.2 设备影子与状态同步物联网通信里有个经典问题端侧状态和云侧状态不一致。你 App 上显示设备在线实际上设备已经断电五分钟了上次设置的音量是 60%但设备重启后变回了默认值。解决思路是引入设备影子——云端维护一个设备期望状态的 JSON 文档设备实时上报自身状态两边通过版本号做 diff。我们简化了一下用两个 JSON 字段表达{ reported: { volume: 60, battery: 88, online: true }, desired: { volume: 70 } }设备每次状态变化就上报 reported云端想改设备配置时更新 desired 并带一个 version 递增设备在 MQTT 上收到 desired 后执行本地行为执行完再上报新的 reported。如果设备离线期间云端下发了多条配置设备重连后会通过一次全量同步拉取最新的 desired避免了离线消息堆积导致状态错乱的问题。我们在测试时遇到过音量配置重启后丢失的 bug排查后发现就是没有做这个全量同步后来在重连逻辑里加了一步上电先拉影子问题彻底解决。5.3 OTA 升级与模型/策略热更新可持续演进在这套架构里不是一句口号它落到两个具体机制上OTA 固件升级和云端策略热更新。OTA 升级我们用的是 ESP-IDF 官方组件esp_https_ota服务器只暴露 HTTPS 接口固件签名校验打开防止中间人投毒。固件编译时用app_update组件生成签名设备在每次启动时校验签名不一致就拒绝运行。OTA 触发条件可以手动也可以通过 MQTT 指令云端下发一个{ cmd: ota, url: https://.../fw.bin, version: 1.2.3 }设备下载固件、校验哈希、写入 OTA 分区完成后自动重启切换到新固件。但 OTA 有个天然的局限性固件更新周期太长从开发到测试到灰度发布基本上按周算。而 AI 设备的行为很多时候不需要改固件只需要调整云端策略。所以我们把很多行为配置全部搬到了云端做成配置中心。比如角色人格的提示词模板、表情和语音的联动规则、甚至是否开启某个新的工具调用这样的功能开关都可以通过 MQTT 下发的 config 消息动态更新。设备端只保留一个配置版本号云端配置变更后设备拉取新配置即可。实测下来这个机制对我们的开发效率帮助极大。有一次我们改了人格提示词从改配置到全量设备生效只花了十几分钟完全不用发版。这让我深刻体会到端云架构的边界画在哪很大程度上决定了产品迭代的速度。固件管硬件能力云端管智能行为这是我们最终沉淀下来的一条架构原则。6. 常见问题与排查技巧实录6.1 麦克风采不到声音或声音极小这个问题几乎每个做 ESP32-S3 语音设备的开发者都会遇到。先查硬件INMP441 的 L/R 引脚一定接 GNDSD 数据线不要和功放 DIN 引脚相邻走线否则串扰严重。再查软件I2S 初始化时 slot_mode 要配置成 MONO如果配成 STEREO麦克风数据会落在左声道还是右声道取决于 L/R 引脚电平你读到的 buffer 可能全是零。还有采样率必须明确配置成 16000有些库默认 44100导致后续 VAD 的 10ms 窗口长度完全对不上。我踩过最深的一个坑是电源噪声。开发板用 USB 供电时麦克风底噪很小换成电池供电后突然出现周期性嗞嗞声。排查了很久最后发现是电池供电的 DC-DC 纹波叠加到了 I2S 信号上。解决办法是给麦克风供电加一个 LDO 加电容滤波同时把 I2S 时钟线的 PCB 走线尽量短。如果你做样机时遇到这个情况先别怀疑代码用示波器看一下 I2S 时钟线上的波形是否干净比调半天软件有效得多。6.2 BLE 配网失败或反复断连配网阶段最大的问题集中在两方面手机 App 扫码太快导致 BLE 广播还没起来或者设备收到了 WiFi 密码但路由器死活连不上。第一类问题我们做了广播状态倒计时设备进入 BLE_ADVERTISING 状态至少保持 3 分钟避免用户打开 App 时设备已经停止广播。第二类问题我们会在设备连不上 WiFi 时通过 BLE Notify 给手机回传错误码App 根据错误码提示用户密码错误或路由器信号弱而不是笼统地说连接失败。还有一个容易被忽视的点ESP32-S3 的 BLE 广播数据包在配网请求高峰时容易冲突。如果你在同一间屋子里测试多台设备建议每台设备的广播名称带后四位 MAC 地址比如XIAOBEI_3F2A这样用户在 App 中能清晰区分目标设备不会被邻居的设备广播干扰。6.3 端侧响应慢、唤醒不灵敏AI 陪伴设备最怕叫它没反应。唤醒不灵敏的原因通常是端侧 VAD 太激进把有效语音给滤掉了。我们调试时发现用固定阈值判断音量大小并不可靠因为不同用户离设备距离不同环境噪声也不同。后来我们改用自适应阈值设备上电先采集 2 秒环境噪声作为底噪参考语音检测阈值设置为底噪加一个动态余量。这个方案在大多数家庭环境下实测效果都不错。响应慢的问题通常出在链路串行化。早期我们把 ASR 和 LLM 串行调用音频全部传完ASR 出文本再送 LLM等 LLM 全部吐完再开始 TTS。这样一来用户从说完话到听到回复延迟奔着三秒去。我们后来改成流式处理ASR 边接收边出中间结果LLM 边出增量文本边触发 TTS 流式合成音频流的第一个字节可以在用户说完话后的 800ms 内到达设备。这一步改造把体验从能忍提升到了自然。6.4 关于成本与可量产性的心得做产品终归要面对成本。开发板上跑通的和能量产的方案差别很大开发板上的排针、座子、USB 转串口芯片在量产时都要砍掉直接用模组贴片。我们后期的 BOM 成本大概是这样ESP32-S3-WROOM-1 模组约 15 元INMP441 约 3 元MAX98357A 加喇叭约 5 元GC9A01 屏幕约 10 元电池和充放电电路约 10 元PCB 和外围器件约 10 元。整个端侧 BOM 控制在 55 元左右。这个成本在 AI 硬件里算非常亲民的了这也是我们团队选择 ESP32-S3 的一个核心原因——不是因为它最强而是它在性能、成本和生态之间找到了一个最适合量产的中点。量产还涉及一个开发阶段几乎不会注意的事每个设备要有唯一的私密证书和序列号烧录环节要和云端绑定打通。我们在产测软件里集成了配网自检、语音采集自检、屏幕显示自检每台设备下线前必须全部通过。这些事情虽然琐碎但如果不在一开始就准备好等设备铺到一千台的时候再补会非常痛苦。这个项目做到现在我最深的体会是硬件上的困难往往都是有标准答案的只要肯查手册、肯用示波器耐心排查总能解决真正难的是端云之间的边界设计。你让设备做多少事让云端做多少事两边怎么通信、怎么容错、怎么升级这些决策决定了产品未来能走多远。最后再分享一个小技巧我们每次改完云端的 Agent 配置都会在测试设备上跑一遍全链路回归特别是设备断网重连后配置是否同步这个用例看起来不起眼但它在实际使用中出问题的概率远比你想象的高。
1. 为什么是 ESP32-S3从一块板子到陪伴设备的选型逻辑1.1 这个项目到底在做什么先交代一下背景。我手头这个项目目标很朴素做一台桌面上能陪人聊天、能显示表情、能记住用户偏好、还能通过语音完成小任务的 AI 陪伴设备。它不是音响不是平板也不是教育机器人更像一个有性格、有温度的桌面小伙伴。硬件侧以一块ESP32-S3开发板为核心外接麦克风、圆形屏幕、小喇叭和电池软件侧则是标准的端云架构——端侧负责语音拾取、唤醒、按键交互、显示状态和本地小逻辑云侧负责大模型对话、角色人设、语音合成、技能编排和内容安全。整台设备最核心的约束是硬件成本要低功耗要低但体验不能明显廉价。这篇文章想把我们从零到一搭建这套系统的完整思路写清楚包括为什么选ESP32-S3而不是其他方案、麦克风和屏幕怎么接、BLE配网怎么设计、云侧AI能力怎么编排、端云通信怎么做到既实时又不费电、以及最终怎么让整套架构可持续演进。如果你正在做类似的智能语音硬件、桌面机器人、陪伴类AI产品或者只是想在嵌入式设备上接入大模型这篇文章应该能帮你省掉不少弯路。1.2 芯片选型ESP32-S3 的取舍与优势先聊选型。其实在动手之前我列了一个需求清单设备必须支持 WiFi 联网、支持 BLE 配网、有足够的算力去跑音频前端VAD、唤醒词、能驱动一块小屏幕、最好还能做一点端侧轻量推理同时成本控制在几十元量级。在这个约束下树莓派和各类 Linux 小板子首先被排除了——成本太高、功耗太大、启动太慢。ESP32 初代也能用但单核 160MHz 的处理器在处理 I2S 麦克风数据加上 WiFi 协议栈时CPU 占用率经常顶到 80% 以上ESP32-S3 则好很多。ESP32-S3 最大的优势其实不是 AI 算力本身而是三件事的叠加双核 Xtensa LX7 处理器跑在 240MHz一颗核专门跑 WiFi/蓝牙协议栈另一颗核跑应用逻辑互不干扰内置向量指令扩展做轻量的特征提取、降噪滤波比普通 MCU 快不少最多支持 8MB 的 PSRAM 外挂这意味着你可以把更大的音频缓冲区、屏幕帧缓冲、甚至轻量级唤醒词模型放进内存而不必痛苦地做内存裁剪。我们选的具体型号是 ESP32-S3-WROOM-1 N16R8也就是 16MB Flash 加 8MB PSRAM 的模组版本。16MB Flash 主要用来装固件、字库、语音提示资源和未来 OTA 升级的备份区8MB PSRAM 则让同时跑屏幕刷帧、麦克风 DMA 缓冲和音频解码成为可能。在 ESP32-S3 上我甚至试着跑过为 MCU 量化过的 TinyML 分类模型虽然实际产品里没用到云侧算力太强了端侧做过重的推理性价比不高但这说明芯片的潜力是足够的。有一个容易被人忽略的决策点我们选的是带蓝牙功能的型号而 BLE 在项目里不是可选项而是配网和近场调试的刚需。后面我会专门用一章讲 BLE 配网这里先记住一个结论智能硬件如果没有蓝牙用户要连 WiFi 就必须走 SmartConfig 或者软 AP 那套流程体验极差。ESP32-S3 原生支持 BLE 5.0等于把配网这个老大难问题从硬件层面解决了。2. 端侧硬件搭建从零到能听会说的最小系统2.1 硬件清单与接线麦克风、屏幕、喇叭怎么接项目里的端侧硬件我把它拆成五个模块主控、音频采集、音频播放、显示、供电。具体的物料清单是这样的主控ESP32-S3-DevKitC-1N16R8开发阶段用开发板方便调试量产阶段会换成 ESP32-S3-WROOM-1 模组自绘底板。麦克风INMP441I2S 数字输出全向 MEMS 麦克风单只成本很低。用数字麦克风而不是模拟麦克风最大的好处是抗干扰。模拟麦克风信号线只要稍微长一点就会被 WiFi 天线和电源噪声污染I2S 走的是数字脉冲抗噪能力强一个量级。功放与喇叭MAX98357A I2S 数字功放加一个 3W 小喇叭。MAX98357A 同样走 I2S这样音频采集和播放可以共用同一条 I2S 总线分时复用。屏幕GC9A01240x240 圆形 TFT LCDSPI 接口。圆形屏天然适合做脸这个载体表情动画、聊天气泡、状态指示都靠它。供电3.7V 锂电池加一个充放电一体板Type-C 充电标称 1000mAh实测连续待机能跑十几个小时。接线方面我直接给出开发阶段的参考连接表。ESP32-S3 的引脚大部分可自由映射但有些引脚有特殊功能避开它们能少很多麻烦。模块信号ESP32-S3 引脚备注INMP441SCKGPIO4I2S 时钟与 MAX98357A 共用INMP441SDGPIO5数据输入麦克风专用INMP441WSGPIO6I2S 字选择与功放共用MAX98357ADINGPIO7数据输出功放专用MAX98357ABCLKGPIO4与上表 SCK 复用MAX98357ALRCGPIO6与上表 WS 复用GC9A01SCLKGPIO12SPI 时钟GC9A01MOSIGPIO11SPI 数据GC9A01CSGPIO10片选GC9A01DCGPIO9数据/命令选择GC9A01RSTGPIO8复位有几个接线时容易踩的坑提前说一下。第一GPIO7 在部分开发板上默认是 JTAG 引脚MTMS如果用作功放数据引脚下载固件时可能会报错——解决办法是先用 GPIO7 还要同时禁用 JTAG或者在 menuconfig 里把 JTAG 引脚复用关掉。第二INMP441 的 L/R 引脚要接 GND麦克风才会在 WS 信号的下降沿输出数据如果接 VDD采集到的就是反相的数据流声音会变成破音。第三I2S 总线共用时麦克风与功放必须在软件层面严格做到同一时刻只有一个设备在收发否则会互相串音。我们后来干脆在驱动层把发送和接收拆成两个任务用信号量保证互斥实测非常稳定。2.2 固件基础语音采集代码怎么写在 Arduino 框架下ESP32-S3 的 I2S 采集代码比 ESP-IDF 原生的要简单不少但要做产品我建议直接用 ESP-IDF 或者至少理解底层原理。核心是配置好 I2S 标准模式、16kHz 采样率、16bit 位宽、单声道。为什么选 16kHz这是语音识别领域的事实标准ASR 模型大多在 16kHz 下训练云侧语音服务接收的也是这个采样率再往上采样到 48kHz 对语音识别没有帮助还浪费带宽。一个可以直接用的初始化片段大致是这样ESP-IDF v5.x 的 driver/i2s_std.h API#include driver/i2s_std.h i2s_chan_handle_t rx_chan; void audio_init_mic(void) { i2s_chan_config_t chan_cfg I2S_CHANNEL_DEFAULT_CONFIG(I2S_NUM_0, I2S_ROLE_MASTER); i2s_new_channel(chan_cfg, NULL, rx_chan); i2s_std_config_t std_cfg { .clk_cfg I2S_STD_CLK_DEFAULT_CONFIG(16000), .slot_cfg I2S_STD_PHILIPS_SLOT_DEFAULT_CONFIG(I2S_DATA_BIT_WIDTH_16BIT, I2S_SLOT_MODE_MONO), .gpio_cfg { .mclk I2S_GPIO_UNUSED, .bclk GPIO_NUM_4, .ws GPIO_NUM_6, .dout IO_NUM_UNUSED, .din GPIO_NUM_5, .invert_flags false, }, }; i2s_channel_init_std_mode(rx_chan, std_cfg); i2s_channel_enable(rx_chan); }读取音频数据的循环也很直白int16_t mic_buffer[320]; // 10ms 16kHz size_t bytes_read 0; i2s_channel_read(rx_chan, mic_buffer, sizeof(mic_buffer), bytes_read, pdMS_TO_TICKS(100));注意这里的 buffer 大小。每次读 320 个 int16 样本正好是 10ms 的音频。10ms 这个粒度是为了配合 VAD语音活动检测——我们要用滑动窗口判断用户是不是在说话10ms 一帧是最常见的切分单位。采集音频数据后如果直接把原始 PCM 通过 WebSocket 推给云端会产生大约 32KB/s 的流量这有点不值得。所以我们在端侧做了一步简单的编码原先试过 ADPCM码率降到 16Kbps 但音质受损后改用 Opus 编码码率 16Kbps音质几乎无损。ESP32-S3 上跑 Opus 编码CPU 占用大约 10%完全可接受。这一步端侧编码是整个端云架构里第一个看起来不起眼但真的省带宽的设计。2.3 GC9A01 圆形屏幕陪伴设备的脸面GC9A01 是一颗很常见的圆形 TFT 驱动芯片分辨率 240x240SPI 接口刷新率在 30fps 到 60fps 之间。开发阶段我直接用了 TFT_eSPI 库这个库对 GC9A01 的支持很成熟只需要在 User_Setup.h 里配置好引脚和驱动型号。真正要花心思的是表情系统。因为屏幕是圆的矩形坐标系在某些图形上会有黑色角落所以我在绘制时统一用极坐标思维来处理圆形脸、眉眼、嘴型都围绕圆心做偏移和旋转。比如眨眼动画就是把椭圆眼睛的高度从 20 像素渐变成 2 像素再变回来用定时器驱动每 30ms 一帧嘴型则根据语音状态切换讲话时用一个随机幅度变化的弧线待机时显示一个安静的微笑曲线。这里有一个很重要的工程取舍屏幕的刷新不能和音频采集抢 CPU 时间。ESP32-S3 是双核我们把 WiFi 协议栈和音频采集放在核 0屏幕刷新和表情动画放在核 1中间用队列传递消息。如果不做这个核间隔离你会发现表情动画卡顿和麦克风丢数据会同时出现。实际测试中用 Arduino 的xTaskCreatePinnedToCore分别绑定两个任务稳定性提升非常明显。3. BLE 配网与设备激活让用户三分钟用起来3.1 为什么选 BLE 配网而不是 SmartConfig智能硬件配网是个老大难。SmartConfig 的原理是手机 App 把 WiFi SSID 和密码编码进 UDP 广播包设备在混杂模式下监听周围报文并解码。这个方案不需要蓝牙但有个致命缺陷成功率受路由器隔离策略、加密方式、信道环境的影响巨大在家用路由器上经常失败。BLE 配网则稳定得多。ESP32-S3 原生支持 BLE设备开机后进入广播状态手机 App 通过 BLE GATT 把 WiFi 凭据和设备激活 token 传给设备设备收到后尝试连接路由器连接成功再回报手机。整个过程链路短、反馈明确而且顺手完成了设备绑定——手机在 BLE 配对过程中拿到设备的 MAC 地址云端据此建立用户-设备的绑定关系。实际体验下来BLE 配网最常见的坑是手机蓝牙权限和 BLE 扫描间隔。Android 12 以上对蓝牙扫描有权限限制必须在 App 里申请BLUETOOTH_SCAN和BLUETOOTH_CONNECT权限iOS 则要确保 Info.plist 里声明了NSBluetoothAlwaysUsageDescription。我在测试时遇到过很多次扫描不到设备后来发现不是设备没广播而是手机侧没开定位权限或者蓝牙服务没初始化好。3.2 配网流程设计与状态机配网流程我建议做成一个清晰的状态机避免用户卡在某个环节不知道发生了什么。设备侧状态依次是IDLE - BLE_ADVERTISING - WIFI_CONNECTING - CLOUD_REGISTER - READY。每个状态都会同步显示在 GC9A01 屏幕上比如 BLE_ADVERTISING 时显示一个蓝牙图标加旋转动画WIFI_CONNECTING 时显示一个进度条。GATT 服务的结构设计也很关键。我们定义了一个自定义 ServiceUUID 以6e400001开头包含三个 CharacteristicCharacteristic属性用途SSID_CHARWrite接收 WiFi 名称PWD_CHARWrite接收 WiFi 密码TOKEN_CHARWrite接收云端激活 tokenSTATUS_CHARNotify设备上报配网状态流程是手机 App 先写入 SSID再写密码最后写 token设备每步都会回 CAN 或 ERR。这里注意一个细节用户输入的密码可能包含特殊字符甚至中文BLE 传输时统一按 UTF-8 编码设备端解码后不要做任何字符集转换直接以字节流传给 WiFi 驱动否则中文 SSID 会连不上。设备连接上 WiFi 后会立刻向云端注册接口发一次 HTTPS 请求带上设备 MAC、型号、固件版本和激活 token。云端校验通过后返回一个设备 ID 和长期会话密钥。这个密钥后续所有端云通信都会用到相当于设备的身份证。配网这件小事在端云架构里其实是第一道安全关口设计时就要把设备绑定和用户绑定一起完成不然设备卖了之后用户很容易被串号。4. 云侧 AI 能力编排从 API 调用到 Agent 化4.1 云侧架构总览接入层、会话层、模型层端侧设备采集完音频经过 Opus 编码后推上来的数据要去哪云侧有几个层次必须拆开接入层、会话层、AI 编排层、模型层。我见过不少项目直接把端侧数据打到某个大模型 API 上结果后期加需求时痛苦不堪。接入层是一套 WebSocket 服务专门维持设备的长连接。设备连接时用配网阶段拿到的会话密钥做 TLS 双向认证认证通过后在内存里维护一张设备连接表。会话层负责管理一次对话的完整生命周期接收音频流、调用语音识别ASR、把识别文本送入 AI 编排层、拿到文本回复后调用语音合成TTS、再把音频流回传给设备。模型层则是真正跑大模型推理的地方可以是大模型 API比如 OpenAI 兼容接口也可以是自部署的开源模型。为什么要做这么多层最关键的原因是可替换性。今天用的 ASR 服务效果不好要换成另一家的只需要改接入层的一小段适配代码明天大模型要切换成更便宜的版本只需在 AI 编排层改模型路由。如果所有逻辑都堆在一个函数里换任何一个组件都要回归整条链路。4.2 让模型懂设备System Prompt 与上下文管理AI 陪伴设备能不能做出陪伴感关键在于 System Prompt 的设计和上下文管理。我们给它做了三层配置第一层是设备能力描述。系统提示词里会写清楚你是一个名叫小贝的桌面陪伴 AI你运行在用户的桌面设备上设备有一个圆形屏幕可以显示表情有麦克风和喇叭可以播放音乐、设置提醒、开关智能家居。大模型必须知道自己身处什么环境才能给出合理的回答。比如用户说你现在能给我一个笑脸吗模型知道设备有屏幕就会回答我已经把表情切换成笑脸了同时代码层解析出切换表情这个动作驱动端侧屏幕变化。第二层是角色人设。我们把它设计成每个用户可以自定义的配置项用户可以在 App 里选择温柔闺蜜毒舌损友知识百科等不同人格。人格不同模型的语气、回复长度、表情触发习惯都会不同。这一层不是写死在代码里的而是作为配置存在云端的用户画像里端侧设备不关心人设细节它只负责展示结果。第三层是安全边界。这个必须强调陪伴设备可能面向儿童也可能在深夜和人聊天所以云侧必须要有一层内容审核。我们采用的是前置策略 后置兜底的方案System Prompt 里约束模型不回答医疗、法律、暴力等敏感话题同时把大模型的输出过一次内容安全检测命中风险词就打回重生成或降级成通用回复。上下文管理上陪伴设备有个特殊需求用户希望 AI记住自己。所以我们设计了短期会话缓存加长期记忆库的机制。短期会话是指最近十轮对话保存在 Redis 里因为大模型的上下文窗口有限十轮对话大约消耗 2000 到 3000 token长期记忆则是把用户的关键信息比如我喜欢看科幻小说我养了一只猫抽取成结构化记忆在每轮对话开始时注入 System Prompt。这个设计让设备越用越懂你是陪伴感的重要来源。4.3 语音链路的模型选型与 Agent 化扩展语音链路分三段ASR语音转文字、LLM文本对话、TTS文字转语音。端侧传来的 Opus 编码音频云侧先解码成 PCM 再送 ASR。ASR 选型上我们的经验是对于陪伴设备这种噪声环境相对可控的场景不用追求极致识别率反而要关注断句和标点恢复。因为大模型非常依赖标点符号来理解语义如果一句话没断句模型很容易理解错。目前主流云 ASR 服务都支持自动加标点这个功能建议一定打开。TTS 选型则是陪伴设备的体验分水岭。用机械感强的 TTS再好的文案也会翻车。我们早期用过普通拼接式 TTS用户反馈像个机器人一样后来换成基于神经网络的流式 TTS 服务支持在语音里插入情绪标签才终于有了人味。因为陪伴设备每句话都很短TTS 首包延迟比音质更紧我们实际把 TTS 服务的首包延迟目标定在 500ms 以内。Agent 化是最近我在迭代的新方向。原来你帮我设个明天早上八点的闹钟这种指令靠 Model 直接回复文本是不够的需要后端能解析意图并调用工具。我们用 Function Calling 的方式实现了这个能力大模型输出一段结构化的工具调用指令后端解析后调用闹钟服务的 API再把执行结果回填给模型让模型用自然语言告诉用户好闹钟已经设好了。这个机制让陪伴设备从一个聊天玩具真正变成了能完成任务的智能助手。对端侧来说这些都发生在云端端侧代码不需要任何改动——这就是可持续演进的直接体现。5. 端云通信与可持续演进架构5.1 通信协议选择MQTT 还是 WebSocket端云通信的需求有两个低延迟实时语音和低频小包状态控制。语音数据走 WebSocket因为它是全双工长连接天然适合持续的音频推流控制链路走 MQTT因为设备状态上报、云端指令下发这类小消息要省电、省流量还要支持离线消息排队。这里有个容易误解的点WebSocket 和 MQTT 不是二选一而是互补。我们的设备同时维护两条连接。语音会话期间WebSocket 负责搬运音频流和文本流平时没有语音任务WebSocket 关闭只保留 MQTT 连接。MQTT 的心跳周期设置成 60 秒这样既能及时感知设备掉线又能把待机电流控制在很低的水平。MQTT 的主题设计也很重要我直接给出我们最终用的主题结构esp32s3/{device_id}/status // 设备上报状态在线、电量、音量 esp32s3/{device_id}/command // 云端下发指令播放、暂停、自定义 esp32s3/{device_id}/config // 云端下发配置更新人格切换、提示词版本这里的关键是把指令和配置分开。指令是即时性的比如用户按下 App 上的暂停键配置是持久性的比如用户切换了角色人格。分开之后设备端的处理逻辑会非常清晰收到 command 就执行动作收到 config 就更新本地配置并持久化到 NVS。5.2 设备影子与状态同步物联网通信里有个经典问题端侧状态和云侧状态不一致。你 App 上显示设备在线实际上设备已经断电五分钟了上次设置的音量是 60%但设备重启后变回了默认值。解决思路是引入设备影子——云端维护一个设备期望状态的 JSON 文档设备实时上报自身状态两边通过版本号做 diff。我们简化了一下用两个 JSON 字段表达{ reported: { volume: 60, battery: 88, online: true }, desired: { volume: 70 } }设备每次状态变化就上报 reported云端想改设备配置时更新 desired 并带一个 version 递增设备在 MQTT 上收到 desired 后执行本地行为执行完再上报新的 reported。如果设备离线期间云端下发了多条配置设备重连后会通过一次全量同步拉取最新的 desired避免了离线消息堆积导致状态错乱的问题。我们在测试时遇到过音量配置重启后丢失的 bug排查后发现就是没有做这个全量同步后来在重连逻辑里加了一步上电先拉影子问题彻底解决。5.3 OTA 升级与模型/策略热更新可持续演进在这套架构里不是一句口号它落到两个具体机制上OTA 固件升级和云端策略热更新。OTA 升级我们用的是 ESP-IDF 官方组件esp_https_ota服务器只暴露 HTTPS 接口固件签名校验打开防止中间人投毒。固件编译时用app_update组件生成签名设备在每次启动时校验签名不一致就拒绝运行。OTA 触发条件可以手动也可以通过 MQTT 指令云端下发一个{ cmd: ota, url: https://.../fw.bin, version: 1.2.3 }设备下载固件、校验哈希、写入 OTA 分区完成后自动重启切换到新固件。但 OTA 有个天然的局限性固件更新周期太长从开发到测试到灰度发布基本上按周算。而 AI 设备的行为很多时候不需要改固件只需要调整云端策略。所以我们把很多行为配置全部搬到了云端做成配置中心。比如角色人格的提示词模板、表情和语音的联动规则、甚至是否开启某个新的工具调用这样的功能开关都可以通过 MQTT 下发的 config 消息动态更新。设备端只保留一个配置版本号云端配置变更后设备拉取新配置即可。实测下来这个机制对我们的开发效率帮助极大。有一次我们改了人格提示词从改配置到全量设备生效只花了十几分钟完全不用发版。这让我深刻体会到端云架构的边界画在哪很大程度上决定了产品迭代的速度。固件管硬件能力云端管智能行为这是我们最终沉淀下来的一条架构原则。6. 常见问题与排查技巧实录6.1 麦克风采不到声音或声音极小这个问题几乎每个做 ESP32-S3 语音设备的开发者都会遇到。先查硬件INMP441 的 L/R 引脚一定接 GNDSD 数据线不要和功放 DIN 引脚相邻走线否则串扰严重。再查软件I2S 初始化时 slot_mode 要配置成 MONO如果配成 STEREO麦克风数据会落在左声道还是右声道取决于 L/R 引脚电平你读到的 buffer 可能全是零。还有采样率必须明确配置成 16000有些库默认 44100导致后续 VAD 的 10ms 窗口长度完全对不上。我踩过最深的一个坑是电源噪声。开发板用 USB 供电时麦克风底噪很小换成电池供电后突然出现周期性嗞嗞声。排查了很久最后发现是电池供电的 DC-DC 纹波叠加到了 I2S 信号上。解决办法是给麦克风供电加一个 LDO 加电容滤波同时把 I2S 时钟线的 PCB 走线尽量短。如果你做样机时遇到这个情况先别怀疑代码用示波器看一下 I2S 时钟线上的波形是否干净比调半天软件有效得多。6.2 BLE 配网失败或反复断连配网阶段最大的问题集中在两方面手机 App 扫码太快导致 BLE 广播还没起来或者设备收到了 WiFi 密码但路由器死活连不上。第一类问题我们做了广播状态倒计时设备进入 BLE_ADVERTISING 状态至少保持 3 分钟避免用户打开 App 时设备已经停止广播。第二类问题我们会在设备连不上 WiFi 时通过 BLE Notify 给手机回传错误码App 根据错误码提示用户密码错误或路由器信号弱而不是笼统地说连接失败。还有一个容易被忽视的点ESP32-S3 的 BLE 广播数据包在配网请求高峰时容易冲突。如果你在同一间屋子里测试多台设备建议每台设备的广播名称带后四位 MAC 地址比如XIAOBEI_3F2A这样用户在 App 中能清晰区分目标设备不会被邻居的设备广播干扰。6.3 端侧响应慢、唤醒不灵敏AI 陪伴设备最怕叫它没反应。唤醒不灵敏的原因通常是端侧 VAD 太激进把有效语音给滤掉了。我们调试时发现用固定阈值判断音量大小并不可靠因为不同用户离设备距离不同环境噪声也不同。后来我们改用自适应阈值设备上电先采集 2 秒环境噪声作为底噪参考语音检测阈值设置为底噪加一个动态余量。这个方案在大多数家庭环境下实测效果都不错。响应慢的问题通常出在链路串行化。早期我们把 ASR 和 LLM 串行调用音频全部传完ASR 出文本再送 LLM等 LLM 全部吐完再开始 TTS。这样一来用户从说完话到听到回复延迟奔着三秒去。我们后来改成流式处理ASR 边接收边出中间结果LLM 边出增量文本边触发 TTS 流式合成音频流的第一个字节可以在用户说完话后的 800ms 内到达设备。这一步改造把体验从能忍提升到了自然。6.4 关于成本与可量产性的心得做产品终归要面对成本。开发板上跑通的和能量产的方案差别很大开发板上的排针、座子、USB 转串口芯片在量产时都要砍掉直接用模组贴片。我们后期的 BOM 成本大概是这样ESP32-S3-WROOM-1 模组约 15 元INMP441 约 3 元MAX98357A 加喇叭约 5 元GC9A01 屏幕约 10 元电池和充放电电路约 10 元PCB 和外围器件约 10 元。整个端侧 BOM 控制在 55 元左右。这个成本在 AI 硬件里算非常亲民的了这也是我们团队选择 ESP32-S3 的一个核心原因——不是因为它最强而是它在性能、成本和生态之间找到了一个最适合量产的中点。量产还涉及一个开发阶段几乎不会注意的事每个设备要有唯一的私密证书和序列号烧录环节要和云端绑定打通。我们在产测软件里集成了配网自检、语音采集自检、屏幕显示自检每台设备下线前必须全部通过。这些事情虽然琐碎但如果不在一开始就准备好等设备铺到一千台的时候再补会非常痛苦。这个项目做到现在我最深的体会是硬件上的困难往往都是有标准答案的只要肯查手册、肯用示波器耐心排查总能解决真正难的是端云之间的边界设计。你让设备做多少事让云端做多少事两边怎么通信、怎么容错、怎么升级这些决策决定了产品未来能走多远。最后再分享一个小技巧我们每次改完云端的 Agent 配置都会在测试设备上跑一遍全链路回归特别是设备断网重连后配置是否同步这个用例看起来不起眼但它在实际使用中出问题的概率远比你想象的高。
