如何启用并使用 Rowboat 的 CallVideo Mode通话功能【免费下载链接】rowboatOpen-source AI coworker, with memory项目地址: https://gitcode.com/GitHub_Trending/rowb/rowboatRowboat 的 CallVideo Mode让你和助手面对面通话助手通过你的摄像头看到你的画面也可以通过屏幕共享看到你的屏幕并用语音实时回应。整个功能由一个通话引擎驱动——按住右侧 ⌘ 键推键说话Push-to-Talk、强制朗读的 TTS、帧捕获——你只是通过四个预设进入不同的起始设备组合。本文按配置前置密钥 → 发起通话 → 通话中操作 → 处理权限失败的顺序说明如何在 macOS 上完整跑通一次通话。前提已安装并运行 Rowboat 桌面应用。通话按钮只有在语音输入Deepgram和语音输出TTS都配置好之后才会启用这是文档给出的硬性条件见 apps/x/VIDEO_MODE.md。启用条件配置 Deepgram 与 ElevenLabs 密钥按 README.md 的 Installation 章节需要两个 API key 文件均位于~/.rowboat/config/目录语音输入在~/.rowboat/config/deepgram.json中添加 Deepgram API key提供通话中的语音转写。语音输出在~/.rowboat/config/elevenlabs.json中添加 ElevenLabs API key提供通话中助手回复的朗读TTS。所有 API key 文件使用统一格式来自 README 原文{ apiKey: key }其中key替换为你自己的密钥。两个文件都配置完成后聊天输入框中的通话按钮才会从禁用状态变为可用——这是启用成功的判定方式无需日志按钮状态本身就是检查点。发起通话四个入口对应四种预设通话入口是 composer 上的call split-button见 chat-input-with-mentions.tsx。主点击区是voice预设下拉菜单里是另外三个预设Preset起始设备初始界面voice主点击、⌥⇧Space、托盘 Quick Ask、Home Skipper摄像头关、屏幕关Skipper 卡片hover 模式share— Share screen屏幕开、摄像头关Skipper 卡片但一开始就共享屏幕video— Video call摄像头开悬浮 pill摄像头画面在 pill 内可扩展为全屏practice— Practice session摄像头开 教练人格全屏通话四个预设共用同一个通话引擎只是起始设备不同。最常用的两条主路径语音通话直接点 call 按钮主点击区或按 ⌥⇧Space进入 Skipper 卡片只有语音、无画面。视频通话点 call 按钮的下拉箭头选择 Video call摄像头开启界面为悬浮 pill。通话开始后call 按钮变为红色点击即挂断——这也是通话正在进行中的界面标志。如果会话启动失败例如设备被拒绝系统会回退到文本卡片quickAsk:show保证唤起动作不会静默无响应未配置语音时则从一开始就显示文本卡片并在应用窗口内说明原因。通话中操作Push-to-Talk 是核心交互通话中没有静音检测或 endpointing 猜测你的按键手势本身就是结束点。核心手势是右侧 ⌘ 键或任意外观界面上的 on-screen talk 按钮长按≥350ms按住期间麦克风门打开松开即提交这句话。快速轻点350ms助手正在说话时轻点是打断Stop静音状态下轻点锁定免提采集下一次按键提交。组合键Right ⌘ 按住时按其他键判定为键盘快捷键而非说话手势取消进行中的按住采集Escape 同样取消。界面的状态芯片会直接引导你完成 PTT空闲时显示 Hold right ⌘ to talk · tap to go hands-free采集中显示 Listening — release to send免提锁定后显示 Hands-free — tap ⌘ to send。通话控制栏全屏与 pill 两个界面一致包含PTT 按钮、麦克风静音、摄像头开关、屏幕共享开关、形象切换、结束通话。几个值得注意的行为Mute 是完全的输入暂停不只是静音麦克风音频不再到达 Deepgram摄像头/屏幕帧捕获也停止collectFrames()在静音期返回空设备保持占用以便即时取消静音。助手思考或说话时形象块上出现红色Stop按钮立即静音 TTS、跳过排队语音段、中止仍在生成的运行。通话中打字仍然有效popout 内嵌真实 composer帧会随打字消息一起发送但 pill 界面不渲染任何方向的转写回复靠朗读想看文字就展开界面。macOS 权限与失败判定文档apps/x/VIDEO_MODE.md 的 Permissions 章节把权限拒绝处理设计成从不静默。遇到异常时按下表定位现象文档给出的原因与处理摄像头无画面首次触发 macOS TCC 摄像头授权提示NSCameraUsageDescription已配置在 forge.config.cjs 的extendInfo被拒绝时应用弹出权限对话框并深链到对应 System Settings 面板屏幕共享失败若 Screen Recording 权限未授予通话仍会以语音通话启动并出现带 System Settings 链接的 toast。整个屏幕获取有 10 秒超时避免权限弹窗未应答导致getDisplayMedia永久挂起在其他应用中按 Right ⌘ 无效全局 PTT 依赖 macOSInput Monitoring权限未授予时事件不会到达eventsSeen保持 false但应用不报错。文档说明应用会在首次通话约 4 秒后弹一次性权限对话框没有该权限时 PTT 只在应用窗口聚焦时有效DOM 回退路径共享屏幕时出现提示三层共享知情共享开始瞬间的 toastYour screen is being shared… [Stop sharing]、pill 上常驻 Sharing screen 徽章、macOS 紫色录制指示器。这是正常行为不是故障另外注意全屏通话与屏幕共享双向互斥——全屏通话覆盖屏幕共享它只会让助手看到通话界面本身扩展 pill 会自动停止共享从全屏最小化会自动启动共享。已知限制以下边界来自文档的 Known limitations 章节属于当前版本的明确限制不是待修复的偶发问题无开放式麦克风打断open-mic barge-in但在助手说话时按下 PTT 会静音它并开始监听打断不需要 Stop 按钮。帧采样而非视频帧与帧之间的动作不可见提示词要求模型不得声称看到帧间内容。屏幕共享始终捕获主显示器尚无窗口/显示器选择器。全屏通话覆盖聊天区通话中没有转写抽屉。全局 PTT从其他应用按 Right ⌘需要 macOS Input Monitoring无该权限时仅在应用窗口聚焦时可用。核对清单跑通一次通话的最小路径是写入两个 key 文件 → 通话按钮变为可用 → 点 Video call或主点击区进入语音通话→ 按钮变红、状态芯片出现 PTT 提示 → 长按 Right ⌘ 说话松开后助手语音回应 → 点红色按钮挂断。挂断后一切 TTS 设置与 composer 状态恢复原样。如果按钮始终禁用回到第一步核对~/.rowboat/config/下两个文件是否存在且包含apiKey字段如果通话能启动但听不到回复或按不到全局 PTT按上表分别检查 ElevenLabs 配置和 Input Monitoring 权限。【免费下载链接】rowboatOpen-source AI coworker, with memory项目地址: https://gitcode.com/GitHub_Trending/rowb/rowboat创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
如何启用并使用 Rowboat 的 CallVideo Mode通话功能【免费下载链接】rowboatOpen-source AI coworker, with memory项目地址: https://gitcode.com/GitHub_Trending/rowb/rowboatRowboat 的 CallVideo Mode让你和助手面对面通话助手通过你的摄像头看到你的画面也可以通过屏幕共享看到你的屏幕并用语音实时回应。整个功能由一个通话引擎驱动——按住右侧 ⌘ 键推键说话Push-to-Talk、强制朗读的 TTS、帧捕获——你只是通过四个预设进入不同的起始设备组合。本文按配置前置密钥 → 发起通话 → 通话中操作 → 处理权限失败的顺序说明如何在 macOS 上完整跑通一次通话。前提已安装并运行 Rowboat 桌面应用。通话按钮只有在语音输入Deepgram和语音输出TTS都配置好之后才会启用这是文档给出的硬性条件见 apps/x/VIDEO_MODE.md。启用条件配置 Deepgram 与 ElevenLabs 密钥按 README.md 的 Installation 章节需要两个 API key 文件均位于~/.rowboat/config/目录语音输入在~/.rowboat/config/deepgram.json中添加 Deepgram API key提供通话中的语音转写。语音输出在~/.rowboat/config/elevenlabs.json中添加 ElevenLabs API key提供通话中助手回复的朗读TTS。所有 API key 文件使用统一格式来自 README 原文{ apiKey: key }其中key替换为你自己的密钥。两个文件都配置完成后聊天输入框中的通话按钮才会从禁用状态变为可用——这是启用成功的判定方式无需日志按钮状态本身就是检查点。发起通话四个入口对应四种预设通话入口是 composer 上的call split-button见 chat-input-with-mentions.tsx。主点击区是voice预设下拉菜单里是另外三个预设Preset起始设备初始界面voice主点击、⌥⇧Space、托盘 Quick Ask、Home Skipper摄像头关、屏幕关Skipper 卡片hover 模式share— Share screen屏幕开、摄像头关Skipper 卡片但一开始就共享屏幕video— Video call摄像头开悬浮 pill摄像头画面在 pill 内可扩展为全屏practice— Practice session摄像头开 教练人格全屏通话四个预设共用同一个通话引擎只是起始设备不同。最常用的两条主路径语音通话直接点 call 按钮主点击区或按 ⌥⇧Space进入 Skipper 卡片只有语音、无画面。视频通话点 call 按钮的下拉箭头选择 Video call摄像头开启界面为悬浮 pill。通话开始后call 按钮变为红色点击即挂断——这也是通话正在进行中的界面标志。如果会话启动失败例如设备被拒绝系统会回退到文本卡片quickAsk:show保证唤起动作不会静默无响应未配置语音时则从一开始就显示文本卡片并在应用窗口内说明原因。通话中操作Push-to-Talk 是核心交互通话中没有静音检测或 endpointing 猜测你的按键手势本身就是结束点。核心手势是右侧 ⌘ 键或任意外观界面上的 on-screen talk 按钮长按≥350ms按住期间麦克风门打开松开即提交这句话。快速轻点350ms助手正在说话时轻点是打断Stop静音状态下轻点锁定免提采集下一次按键提交。组合键Right ⌘ 按住时按其他键判定为键盘快捷键而非说话手势取消进行中的按住采集Escape 同样取消。界面的状态芯片会直接引导你完成 PTT空闲时显示 Hold right ⌘ to talk · tap to go hands-free采集中显示 Listening — release to send免提锁定后显示 Hands-free — tap ⌘ to send。通话控制栏全屏与 pill 两个界面一致包含PTT 按钮、麦克风静音、摄像头开关、屏幕共享开关、形象切换、结束通话。几个值得注意的行为Mute 是完全的输入暂停不只是静音麦克风音频不再到达 Deepgram摄像头/屏幕帧捕获也停止collectFrames()在静音期返回空设备保持占用以便即时取消静音。助手思考或说话时形象块上出现红色Stop按钮立即静音 TTS、跳过排队语音段、中止仍在生成的运行。通话中打字仍然有效popout 内嵌真实 composer帧会随打字消息一起发送但 pill 界面不渲染任何方向的转写回复靠朗读想看文字就展开界面。macOS 权限与失败判定文档apps/x/VIDEO_MODE.md 的 Permissions 章节把权限拒绝处理设计成从不静默。遇到异常时按下表定位现象文档给出的原因与处理摄像头无画面首次触发 macOS TCC 摄像头授权提示NSCameraUsageDescription已配置在 forge.config.cjs 的extendInfo被拒绝时应用弹出权限对话框并深链到对应 System Settings 面板屏幕共享失败若 Screen Recording 权限未授予通话仍会以语音通话启动并出现带 System Settings 链接的 toast。整个屏幕获取有 10 秒超时避免权限弹窗未应答导致getDisplayMedia永久挂起在其他应用中按 Right ⌘ 无效全局 PTT 依赖 macOSInput Monitoring权限未授予时事件不会到达eventsSeen保持 false但应用不报错。文档说明应用会在首次通话约 4 秒后弹一次性权限对话框没有该权限时 PTT 只在应用窗口聚焦时有效DOM 回退路径共享屏幕时出现提示三层共享知情共享开始瞬间的 toastYour screen is being shared… [Stop sharing]、pill 上常驻 Sharing screen 徽章、macOS 紫色录制指示器。这是正常行为不是故障另外注意全屏通话与屏幕共享双向互斥——全屏通话覆盖屏幕共享它只会让助手看到通话界面本身扩展 pill 会自动停止共享从全屏最小化会自动启动共享。已知限制以下边界来自文档的 Known limitations 章节属于当前版本的明确限制不是待修复的偶发问题无开放式麦克风打断open-mic barge-in但在助手说话时按下 PTT 会静音它并开始监听打断不需要 Stop 按钮。帧采样而非视频帧与帧之间的动作不可见提示词要求模型不得声称看到帧间内容。屏幕共享始终捕获主显示器尚无窗口/显示器选择器。全屏通话覆盖聊天区通话中没有转写抽屉。全局 PTT从其他应用按 Right ⌘需要 macOS Input Monitoring无该权限时仅在应用窗口聚焦时可用。核对清单跑通一次通话的最小路径是写入两个 key 文件 → 通话按钮变为可用 → 点 Video call或主点击区进入语音通话→ 按钮变红、状态芯片出现 PTT 提示 → 长按 Right ⌘ 说话松开后助手语音回应 → 点红色按钮挂断。挂断后一切 TTS 设置与 composer 状态恢复原样。如果按钮始终禁用回到第一步核对~/.rowboat/config/下两个文件是否存在且包含apiKey字段如果通话能启动但听不到回复或按不到全局 PTT按上表分别检查 ElevenLabs 配置和 Input Monitoring 权限。【免费下载链接】rowboatOpen-source AI coworker, with memory项目地址: https://gitcode.com/GitHub_Trending/rowb/rowboat创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
