一、音频基础
1. 声音是如何被听到的
在自然界中，声音是通过物体的振动产生的。这些振动通过介质（如：气体、液体、固体）传递，从而被生物的听觉器官接收。
2. 声音的三要素
音色：不同的物体在振动时产生的各不相同的谐波。
音调：物体的振动频率，即每秒振动的次数，频率越快则音调越高。
音量：物体每次振动的幅度，幅度越大则音量越大。
3. 音频处理流程
对于直播客户端，音频处理流程如下：
音频采集 → 音频编码 → 封装 → 传输 → 解封装 → 音频解码 → 音频渲染
4. 流程解析
音频采集：从麦克风或其他音频输入设备获取连续的音频模拟信号，然后通过采样 → 量化 → 编码得到 PCM（脉冲编码调制） 数据。
音频编码：使用音频编码器根据所选的编码协议对PCM数据进行压缩得到编码后的数据，如：AAC、MP3等。
封装：把编码后的音频数据与视频数据以及其他信息一起封装到一个容器格式中，如：MP4、FLV等。
传输：根据所选的传输协议（如：RTMP、RTSP、HLS、WebRTC等），把音频数据包发送到服务器或直接给观众。
解封装：接收方识别容器格式，分离音视频流，传递给各自的解码器。
音频解码：音频解码器接收到音频数据，按所选的编码协议进行解码，得到PCM数据，并传递给音频输出设备。
音频渲染：音频输出设备把数字PCM数据转换为模拟信号，最后通过扬声器或耳机播放出来。
5. 音频的基本概念
音频模拟信号通过指定的频率采样得到数字信号，并以选定的采样格式把不同声道的数据分开存储起来。
采样频率：每秒钟的采样数，如：8K、16K、32K、44.1K、48K。
采样格式：存储每个采样所使用的位深（常用的是16位）以及存储方式（平面格式Planar / 打包格式Packed）。
声道数：不同空间位置采集或回放的相互独立的音频信号的数量，如：单声道、双声道、立体声等。
6. 音频重采样
音频重采样：调整音频的采样频率、采样格式和声道数以满足设备、编码器或存储需求的关键技术。
例如： 把44.1KHz / 32bit / 双声道 的音频转换成 32KHz / 16bit / 单声道 的音频。
二、视频基础
1. 基本概念
视频：由一系列连续的静态图像帧（Frame）组成的动态画面序列。
图像：由一系列像素构成的单个静态画面。
2. 图像的基本要素
像素：记录图像上一个点的位置坐标和颜色/灰度值的结构。
位深：每个像素的二进制位数，决定颜色/灰度的精度。
分辨率：描述图像的像素宽度和高度（如：1920×1080），决定清晰度。
3. 视频的基本要素
帧：每一帧是一个静态图像，按时间顺序排列形成动态效果。
帧率：每秒播放的帧数（如：24fps、60fps），影响流畅度。
分辨率：每帧的像素数量（如：1080p、4K），决定清晰度。
编码格式：为了减少视频文件大小而使用的压缩编码方式，如：H.264、H.265等。
码率：单位时间内传输或处理的视频数据量。
三、音视频同步
1. 基本概念
音视频同步是指在播放或传输过程中，确保音频和视频的播放时间严格对齐的技术。其核心目标是让观众感知到声音与画面是同时发生的（例如人物口型与对话同步），从而提升观看或交互体验。
2. 音视频不同步的原因
（1）处理速度差异
- 视频处理（如编码、美颜、传输）通常比音频更耗时，导致视频滞后。
- 解码、渲染时的计算延迟（如显卡性能不足）。
（2）网络传输问题
- 音频和视频通过网络传输时，可能因带宽波动或丢包导致到达时间不同。
- 实时流媒体中，视频和音频的分流传送可能产生不同步。
（3）时间戳偏差
- 录制时，音频和视频设备的采样起始时间不一致。
- 编码/解码过程中，PTS（展示时间戳）和DTS（解码时间戳）未正确对齐。
（4）设备性能限制
- 播放设备（如手机、电脑）的CPU/GPU性能不足，导致解码或渲染延迟。
3. 音视频同步的核心原理
（1）时间戳系统：
- PTS（Presentation Timestamp）：标记视频帧或音频帧应在何时展示。
- DTS（Decoding Timestamp）：标记视频帧应何时解码（针对B帧等依赖其他帧的编码结构）。
- 通过时间戳，播放器可校准音视频的播放顺序和时机。
（2）参考时钟：
- 选择一个统一的时钟源（如系统时间或网络时间协议NTP），作为音视频时间的基准。
- 音视频流的时间戳需与参考时钟对齐。
（3）动态调整机制：
- 拉伸/压缩音频：通过调整音频播放速度，使其与视频同步。
- 丢帧或等待：视频播放过快时丢弃部分音频帧，过慢时等待下一帧。
- 时钟偏移校正：根据当前偏差动态调整播放节奏。