【免费下载链接】sillAny window from your Mac, live on your iPhone or iPad. Touch, Apple Pencil, trackpad and keys. Free, open source, no servers.项目地址https://gitcode.com/gh_mirrors/sill1/sill点击查看免费下载Sill 是一款免费、开源的 Mac 到 iPhone / iPad 串流工具把 Mac 上的任意窗口或整个桌面实时投到你的移动设备上支持触控、Apple Pencil、触控板和键盘操作且全程无需自建服务器。它的音频功能Send Audio会把 Mac 上被串流应用的声音同步送到设备端播放——声音永远滞后画面一点点但绝不会提前。本文带你拆解 Sill 音频管线背后的三个关键设计AAC-ELD 128 kbps 编码、10 ms 音频分片以及逐包漂移校正的音视频同步机制。一、功能速览Mac 的声音如何到达 iPad在 Sill 的 Mac 端菜单或 设置 › Streaming 中打开Send AudioBeta后Sill for Mac 会捕获当前串流应用或整个桌面的声音编码后经本地网络发送到 iPhone / iPad 播放。它有两个重要特性见 README.md声音跟随画面设备端播放的声音片刻滞后于画面但绝不超过画面双端都有声Mac 自己照常出声每台设备可以用 Sound 按钮单独静音。整条管线的蓝图写在设计文档 docs/audio-plan.md 中Mac 端核心代码集中在 Sources/SillHost/设备端播放模型在 iOSClient/AudioPlayout.swift。二、为什么选择 AAC-ELD 128 kbps 编码编码器的选择不是拍脑袋而是用真实信号实测出来的。Sill 团队把一段 6 秒的忙碌信号噪声叠加三个音调分别送入 AudioToolbox 的各款编码器测量端到端延迟从突发信号进入编码器到离开解码器的时间编码器每包帧数端到端延迟10 ms 分片编码/解码 CPU单核AAC-LC102421.3 ms74.7 ms0.49% / 0.05%AAC-LD51210.7 ms30.7 ms0.52% / 0.06%AAC-ELD480 帧48010.0 ms15.0 ms0.52% / 0.07%Opus10 ms48016.5 ms0.95% / 0.32%AAC-ELD 胜出的理由很清晰docs/audio-plan.md Which codec: measured延迟最低AAC-LC 光固有延迟就有 65–75 ms比画面整条链路还长AAC-ELD 只有 15 ms 出头CPU 更省同样延迟下编码 CPU 约为 Opus 的一半解码只有其五分之一生态成熟AirPlay 镜像传输的正是 AAC-ELD是 Apple 自己的选择。最终参数固定为48 kHz、双声道、128 kbps见 AudioEncoder.swift 中的三个常量。编码由 AudioToolbox 的AudioConverter完成每块输入正好产出一个数据包。三、10 ms 分片把 PCM 切成 480 帧一包的节奏声音捕获走的是一条独立的、只含音频的 SCStreamAudioCapture.swift 中capturesAudio true画面尺寸设为 2×2 每秒 1 帧后直接丢弃。这样做的好处是画面管线重启旋转、缩放、切换编码器时声音不受影响声音失败也只影响声音本身。捕获来的 PCM 块交给纯函数式的AudioPacketizerAudioPacketizer.swift它做三件事定包长看第一个音频块的帧数——是 512 的整数倍就用 512 帧一包10.7 ms否则用 480 帧一包正好10 ms。能整除捕获块的分片方式端到端快 9–10 ms打时间戳每个块的时间戳取自该包解码后首个样本对应输入帧的主机时钟时刻。由于编码器有 240/256 帧的固有延迟priming时间戳要往前补偿这段距离断段保护音频块迟到或早到超过 1/4 块约 2.5 ms就判定捕获出了断口——旧段直接丢弃不补齐、不填零从这一块开始新的一段。因为为过去的帧现在造一个包只会让设备端误以为链路抖动白白抬高缓冲。编码后的每个包立刻转成 kind 43 消息发往网络StreamMessage.swift时间戳在发送瞬间由主机时钟换算成墙上时钟AudioPipeline.swift与视频帧的打戳方式完全一致。四、不用时钟同步一个地板值锚定两台设备这里是最精巧的部分。两台设备的时钟会互相漂移每秒差几十微秒级传统做法要做 NTP 式时钟同步——Sill 完全没做。它的方案只需要一个稳定的参照物而不是绝对时间地板值floor 最近 10 秒内所有音频包(到达时刻 − 时间戳)的最小值。原理网络延迟会波动但最快的那一路近似稳定。一个时间戳为 T 的音频包应在设备单调时钟的T floor delay时刻被听到AudioPlayout.swift。两个时钟慢慢漂移时这个滑动最小值会自动跟着漂移走声音永远被锚在画面旁边。delay取两项的较大值need抖动覆盖最近 10 秒内到达 − 时间戳 − floor的最大值在家 20–150 ms 区间外出 60–600 ms 一个包10 ms IO 缓冲 输出延迟 2 ms 余量画面守卫最近 2 秒视频帧的中位滞后 1.5 个刷新 4 ms再多加一帧。这条规则保证了铁律——声音永远不会跑到画面前面。五、逐包漂移校正每秒 ±1 帧的微调术时钟漂移不会一次到位所以模型每秒比较一次正在播放的样本应在哪与它实际在哪然后每个数据包最多增删 1 帧AudioPlayout.swift声音快了 → 在该包最安静的点复制一帧插入取相邻均值听不出痕迹声音慢了 →删掉一帧保留与前一帧的均值幅度约 2 ms/秒远大于时钟漂移速度0.1 ms/秒完全不可闻。小误差用微调消化大误差另走跳变通道一旦误差超过 40 ms链路停顿、路由切换或声音即将越过画面就立即丢包或插入静默完成对齐并配 5 ms 淡入淡出iOSClient/AudioPlayout.swift 常量jumpOver 0.040。若连续一秒的包都悬在地板值上方 50 ms 以上或新地板突然低 20 ms则判定 Mac 时钟跳变整个窗口重新开始统计。其他细节同样讲究最近 256 个(epoch, seq)去重、断点后整包丢弃再淡入、10 秒无声自动停掉音频引擎等都写在这份纯 Foundation 模型里可用模拟时钟单独跑测试Tests/checks/audio-playout/。六、声音与画面共享同一条链路音频优先声音和视频走同一条 TCP 连接但规则是声音不让路画面让路在家时音频消息不计入画面的在途计数inflight不会被丢帧规则误伤外出Remote Access时音频字节计入远程预算拥塞发生时paceRemote只丢视频帧、从不丢声音——链路扛不住时画面降帧等关键帧声音继续保持约 16 KB/s 稳定流出音频在独立队列编码、生成即发AudioPipeline.swift一帧画面也从不为声音等待。设备端的诊断 HUD 上还能看到sound XX字样表示声音当前滞后画面多少毫秒DiagnosticsHUD.swift。七、如何开启并验证Mac 端Sill 状态菜单或 设置 › Streaming 中打开Send audioBetaCLI 宿主可用--audio启动参数设备端顶部工具栏出现 Sound 按钮点击静音/恢复仅影响本设备无需 Mac 确认观察同步效果开一个有清晰鼓点的应用用诊断 HUD 查看sound滞后值——典型约 50 ms符合1–2 帧之后的设计目标。八、核心模块速查设计文档docs/audio-plan.md捕获音频专属 SCStreamSources/SillHost/AudioCapture.swift分片与打戳Sources/SillHost/AudioPacketizer.swiftAAC-ELD 编码器Sources/SillHost/AudioEncoder.swift管线编排Sources/SillHost/AudioPipeline.swift线上协议kind 43Sources/StreamProtocol/Audio.swift设备端同步模型iOSClient/AudioPlayout.swift纯逻辑测试Tests/checks/audio-packetizer/、Tests/checks/audio-playout/一句话总结Sill 用最小编码延迟 10 ms 定长分片 滑动地板值 逐包 ±1 帧微调四步组合在没有时钟同步的前提下把 Mac 的声音稳稳锚在画面之后——这正是开源项目少见的、以实测数据驱动的精密同步工程。赞分享【免费下载链接】sillAny window from your Mac, live on your iPhone or iPad. Touch, Apple Pencil, trackpad and keys. Free, open source, no servers.项目地址https://gitcode.com/gh_mirrors/sill1/sill点击查看免费下载相关推荐OpenParsec音频管线深度剖析C音频模块与AVAudioSession混音机制OpenParsec音频管线深度剖析C音频模块与AVAudioSession混音机制 OpenParsec 是一款开源的 iOS/iPadOS 端 ParseCompressor音频处理深度剖析AAC直通逻辑与24位PCM音量缩放器源码精讲Compressor音频处理深度剖析AAC直通逻辑与24位PCM音量缩放器源码精讲 Compressor 是一款开源、无广告、超轻量的 Android 原生视Subtitle Edit 多点同步Point Sync用多个参考点校正非线性漂移的字幕同步指南Subtitle Edit 多点同步Point Sync用多个参考点校正非线性漂移的字幕同步指南 导读 本文讲解 Subtitle Edit 的 Poin桌面应用音视频OCR上一篇WebXR沉浸式体验使用Spark构建跨设备3D交互场景下一篇Armchair与StoreKit Review PromptiOS 10.3评分功能对比创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】sillAny window from your Mac, live on your iPhone or iPad. Touch, Apple Pencil, trackpad and keys. Free, open source, no servers.项目地址https://gitcode.com/gh_mirrors/sill1/sill点击查看免费下载Sill 是一款免费、开源的 Mac 到 iPhone / iPad 串流工具把 Mac 上的任意窗口或整个桌面实时投到你的移动设备上支持触控、Apple Pencil、触控板和键盘操作且全程无需自建服务器。它的音频功能Send Audio会把 Mac 上被串流应用的声音同步送到设备端播放——声音永远滞后画面一点点但绝不会提前。本文带你拆解 Sill 音频管线背后的三个关键设计AAC-ELD 128 kbps 编码、10 ms 音频分片以及逐包漂移校正的音视频同步机制。一、功能速览Mac 的声音如何到达 iPad在 Sill 的 Mac 端菜单或 设置 › Streaming 中打开Send AudioBeta后Sill for Mac 会捕获当前串流应用或整个桌面的声音编码后经本地网络发送到 iPhone / iPad 播放。它有两个重要特性见 README.md声音跟随画面设备端播放的声音片刻滞后于画面但绝不超过画面双端都有声Mac 自己照常出声每台设备可以用 Sound 按钮单独静音。整条管线的蓝图写在设计文档 docs/audio-plan.md 中Mac 端核心代码集中在 Sources/SillHost/设备端播放模型在 iOSClient/AudioPlayout.swift。二、为什么选择 AAC-ELD 128 kbps 编码编码器的选择不是拍脑袋而是用真实信号实测出来的。Sill 团队把一段 6 秒的忙碌信号噪声叠加三个音调分别送入 AudioToolbox 的各款编码器测量端到端延迟从突发信号进入编码器到离开解码器的时间编码器每包帧数端到端延迟10 ms 分片编码/解码 CPU单核AAC-LC102421.3 ms74.7 ms0.49% / 0.05%AAC-LD51210.7 ms30.7 ms0.52% / 0.06%AAC-ELD480 帧48010.0 ms15.0 ms0.52% / 0.07%Opus10 ms48016.5 ms0.95% / 0.32%AAC-ELD 胜出的理由很清晰docs/audio-plan.md Which codec: measured延迟最低AAC-LC 光固有延迟就有 65–75 ms比画面整条链路还长AAC-ELD 只有 15 ms 出头CPU 更省同样延迟下编码 CPU 约为 Opus 的一半解码只有其五分之一生态成熟AirPlay 镜像传输的正是 AAC-ELD是 Apple 自己的选择。最终参数固定为48 kHz、双声道、128 kbps见 AudioEncoder.swift 中的三个常量。编码由 AudioToolbox 的AudioConverter完成每块输入正好产出一个数据包。三、10 ms 分片把 PCM 切成 480 帧一包的节奏声音捕获走的是一条独立的、只含音频的 SCStreamAudioCapture.swift 中capturesAudio true画面尺寸设为 2×2 每秒 1 帧后直接丢弃。这样做的好处是画面管线重启旋转、缩放、切换编码器时声音不受影响声音失败也只影响声音本身。捕获来的 PCM 块交给纯函数式的AudioPacketizerAudioPacketizer.swift它做三件事定包长看第一个音频块的帧数——是 512 的整数倍就用 512 帧一包10.7 ms否则用 480 帧一包正好10 ms。能整除捕获块的分片方式端到端快 9–10 ms打时间戳每个块的时间戳取自该包解码后首个样本对应输入帧的主机时钟时刻。由于编码器有 240/256 帧的固有延迟priming时间戳要往前补偿这段距离断段保护音频块迟到或早到超过 1/4 块约 2.5 ms就判定捕获出了断口——旧段直接丢弃不补齐、不填零从这一块开始新的一段。因为为过去的帧现在造一个包只会让设备端误以为链路抖动白白抬高缓冲。编码后的每个包立刻转成 kind 43 消息发往网络StreamMessage.swift时间戳在发送瞬间由主机时钟换算成墙上时钟AudioPipeline.swift与视频帧的打戳方式完全一致。四、不用时钟同步一个地板值锚定两台设备这里是最精巧的部分。两台设备的时钟会互相漂移每秒差几十微秒级传统做法要做 NTP 式时钟同步——Sill 完全没做。它的方案只需要一个稳定的参照物而不是绝对时间地板值floor 最近 10 秒内所有音频包(到达时刻 − 时间戳)的最小值。原理网络延迟会波动但最快的那一路近似稳定。一个时间戳为 T 的音频包应在设备单调时钟的T floor delay时刻被听到AudioPlayout.swift。两个时钟慢慢漂移时这个滑动最小值会自动跟着漂移走声音永远被锚在画面旁边。delay取两项的较大值need抖动覆盖最近 10 秒内到达 − 时间戳 − floor的最大值在家 20–150 ms 区间外出 60–600 ms 一个包10 ms IO 缓冲 输出延迟 2 ms 余量画面守卫最近 2 秒视频帧的中位滞后 1.5 个刷新 4 ms再多加一帧。这条规则保证了铁律——声音永远不会跑到画面前面。五、逐包漂移校正每秒 ±1 帧的微调术时钟漂移不会一次到位所以模型每秒比较一次正在播放的样本应在哪与它实际在哪然后每个数据包最多增删 1 帧AudioPlayout.swift声音快了 → 在该包最安静的点复制一帧插入取相邻均值听不出痕迹声音慢了 →删掉一帧保留与前一帧的均值幅度约 2 ms/秒远大于时钟漂移速度0.1 ms/秒完全不可闻。小误差用微调消化大误差另走跳变通道一旦误差超过 40 ms链路停顿、路由切换或声音即将越过画面就立即丢包或插入静默完成对齐并配 5 ms 淡入淡出iOSClient/AudioPlayout.swift 常量jumpOver 0.040。若连续一秒的包都悬在地板值上方 50 ms 以上或新地板突然低 20 ms则判定 Mac 时钟跳变整个窗口重新开始统计。其他细节同样讲究最近 256 个(epoch, seq)去重、断点后整包丢弃再淡入、10 秒无声自动停掉音频引擎等都写在这份纯 Foundation 模型里可用模拟时钟单独跑测试Tests/checks/audio-playout/。六、声音与画面共享同一条链路音频优先声音和视频走同一条 TCP 连接但规则是声音不让路画面让路在家时音频消息不计入画面的在途计数inflight不会被丢帧规则误伤外出Remote Access时音频字节计入远程预算拥塞发生时paceRemote只丢视频帧、从不丢声音——链路扛不住时画面降帧等关键帧声音继续保持约 16 KB/s 稳定流出音频在独立队列编码、生成即发AudioPipeline.swift一帧画面也从不为声音等待。设备端的诊断 HUD 上还能看到sound XX字样表示声音当前滞后画面多少毫秒DiagnosticsHUD.swift。七、如何开启并验证Mac 端Sill 状态菜单或 设置 › Streaming 中打开Send audioBetaCLI 宿主可用--audio启动参数设备端顶部工具栏出现 Sound 按钮点击静音/恢复仅影响本设备无需 Mac 确认观察同步效果开一个有清晰鼓点的应用用诊断 HUD 查看sound滞后值——典型约 50 ms符合1–2 帧之后的设计目标。八、核心模块速查设计文档docs/audio-plan.md捕获音频专属 SCStreamSources/SillHost/AudioCapture.swift分片与打戳Sources/SillHost/AudioPacketizer.swiftAAC-ELD 编码器Sources/SillHost/AudioEncoder.swift管线编排Sources/SillHost/AudioPipeline.swift线上协议kind 43Sources/StreamProtocol/Audio.swift设备端同步模型iOSClient/AudioPlayout.swift纯逻辑测试Tests/checks/audio-packetizer/、Tests/checks/audio-playout/一句话总结Sill 用最小编码延迟 10 ms 定长分片 滑动地板值 逐包 ±1 帧微调四步组合在没有时钟同步的前提下把 Mac 的声音稳稳锚在画面之后——这正是开源项目少见的、以实测数据驱动的精密同步工程。赞分享【免费下载链接】sillAny window from your Mac, live on your iPhone or iPad. Touch, Apple Pencil, trackpad and keys. Free, open source, no servers.项目地址https://gitcode.com/gh_mirrors/sill1/sill点击查看免费下载相关推荐OpenParsec音频管线深度剖析C音频模块与AVAudioSession混音机制OpenParsec音频管线深度剖析C音频模块与AVAudioSession混音机制 OpenParsec 是一款开源的 iOS/iPadOS 端 ParseCompressor音频处理深度剖析AAC直通逻辑与24位PCM音量缩放器源码精讲Compressor音频处理深度剖析AAC直通逻辑与24位PCM音量缩放器源码精讲 Compressor 是一款开源、无广告、超轻量的 Android 原生视Subtitle Edit 多点同步Point Sync用多个参考点校正非线性漂移的字幕同步指南Subtitle Edit 多点同步Point Sync用多个参考点校正非线性漂移的字幕同步指南 导读 本文讲解 Subtitle Edit 的 Poin桌面应用音视频OCR上一篇WebXR沉浸式体验使用Spark构建跨设备3D交互场景下一篇Armchair与StoreKit Review PromptiOS 10.3评分功能对比创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
