简介PJSIP最新版安卓视频通话示例基于思科开放源代码的H.264编码库实现高质量视频画面的实时编码与传输。面向需要在手机端快速接入语音与视频通话能力的安卓开发者尤其适合已具备会话发起协议或音视频基础、希望直接参考可运行工程的人群不管是个人开发者还是小团队都可以借助它缩短开发周期。压缩包内共二百七十个文件主要包含Java业务代码、XML配置资源以及SO本地动态库另有Gradle构建脚本、PNG界面素材、JAR辅助工具和工程属性文件整体大小为二十四点六二兆字节目录组织清晰可快速导入安卓开发环境进行编译分析。示例覆盖了通话库初始化、账号注册、呼叫建立、视频编解码等关键环节压缩包中的JNI源码展示了Java层与C/C层的交互细节有助于理解本地库链接、接口封装和调用流程同时还能了解如何利用OpenH264硬件加速来提升实时处理流畅度。当前已有一千六百二十三人学习下载通过阅读源码可以少走弯路直接掌握在安卓平台集成PJSIP与H.264编码库的完整方法并关注网络自适应、异常处理、资源占用控制与多机型兼容等实战经验。 做一款带视频的SIP客户端绕不开pjsip。最近我把pjsip最新稳定版重新拉下来编译了一遍专门跑了跑官方自带的视频demo这一版在视频编解码链路和接口稳定性上确实比前几年顺手很多。这篇文章就围绕pjsip最新版本和视频demo这两个关键词把我从环境配置、编译参数、Demo运行到双向视频通话的完整过程梳理出来顺便把我在调试中踩过的坑一并交代清楚。如果你正准备评估pjsip的视频能力或者想基于它快速搭一个音视频通话原型这篇文章可以直接当操作手册来用。我会尽量讲清楚每一步背后的原因而不是单纯给命令。1. 整体设计与选型思路1.1 pjsip视频方案的核心构成在动代码之前我们先捋清楚pjsip的视频通话到底由哪几块拼起来。pjsip作为开源SIP协议栈底层分为pjlib基础库、pjlib-util工具库、pjmedia媒体处理、pjsip协议栈核心四层视频能力全部收敛在pjmedia层包含视频设备的采集、编码器注册、传输封装三个环节。视频demo没有走复杂的插件化架构而是直接调用pjsuapjsip的用户代理API层对外暴露的接口把呼叫状态机、媒体协商和窗口管理串起来。这个设计有个立竿见影的好处不需要自己去对接SIP信令细节pjsua已经帮我们把INVITE、200 OK、ACK这套流程封装好了开发者只需要关注自己的业务逻辑。对比早期的pjsip版本最新版在视频通道上做了不少重构重点是资源释放更干净连续多次呼叫后内存上涨的问题明显改善。选择最新版还有一个现实考量旧版在视频编解码上对H.264的支持不够完整尤其是openh264库的接入比较生硬新版默认配置下能更顺畅地走完SDP协商。如果你要复现视频demo直接选最新稳定版省去来回打补丁的时间。1.2 demo场景能覆盖哪些能力验证视频demo不是一个功能完整的即时通讯软件它更像一个最小可用产品用来验证底层的视频通路是否正常。通过这个demo你可以确认以下几点本机摄像头是否能被pjsip正确采集视频格式转换色彩空间、分辨率是否通畅H.264或其他视频编码器是否能正常编码和解码双向通话时的码率是否稳定SIP信令和媒体流的联动是否一致特别是呼叫建立后视频窗口能否自动弹出来DTMF、静音检测等音频能力在视频场景下是否正常工作我自己在实际测试中主要把它当做一个体检工具。在定制的业务客户端出问题的时候跑一趟官方demo就能快速判断问题出在pjsip底层还是我自己的业务代码上。这个思路比盲目打断点排错高效得多。2. 环境准备与编译配置2.1 依赖库选择与准备编译pjsip视频demo的第一步是把依赖库备齐。以Linux环境为例编译前优先确认以下组件sudo apt install build-essential git cmake sudo apt install libasound2-dev libx11-dev libv4l-dev sudo apt install libavcodec-dev libavformat-dev libswscale-dev sudo apt install libsdl2-dev sudo apt install libopenh264-devlibasound2-dev负责音频底层调用libv4l-dev用于V4L2视频采集libsdl2-dev用来支撑视频窗口渲染libopenh264-dev是Cisco开源的H.264编码器实现。有一个点值得强调如果不装libopenh264-dev编译时默认会走pjsip自带的视频编码器兜底逻辑但实际效果和硬编差距明显尤其是在低码率场景下。如果你打算在Windows上编译依赖库的获取方式会变成vcpkg或预编译包。思路一样只是包管理器不同这里不展开。2.2 编译参数详解进入pjsip源码根目录后配置和编译流程如下cd pjproject ./configure --enable-video --enable-ffmpeg --enable-sdl make dep make这里三个参数是视频demo能跑起来的关键--enable-video显式开启视频功能如果不加这个pjsua编译出来无法初始化视频设备--enable-ffmpeg接入FFmpeg的编解码和转码能力实际测试下来兼容性比pjsip内置的编码器更好--enable-sdl启用SDL的视频渲染后端没有它视频窗口就没有地方显示有一个容易忽略的细节是configure脚本对第三方库头文件的探测顺序。如果你同时用apt安装了ffmpeg开发包和自编译的ffmpegconfigure可能误选中旧版本的头文件导致最终编出来视频格式不匹配。稳妥做法是配置前先确认pkg-config的搜索路径没有冗余项。编译完成后生成的pjsua可执行文件在pjsip-apps/bin目录下。用ldd命令检查一下动态库依赖是否完整尤其是libopenh264和FFmpeg相关库能提前发现环境缺失。3. 视频demo核心机制解析3.1 demo的启动流程与参数视频demo本质上就是pjsua带上一组视频相关的启动参数。官方demo最常用的启动方式是在pjsua命令行里指定本机SIP端口、账号和带宽限制./pjsua --port 5080 --video --no-audio --auto-answer 200--video告诉pjsua需要在媒体会话里加入视频流--no-audio是调试时为了隔离问题用的只测视频通路--auto-answer 200则是让被叫方自动应答方便做双机互通测试。如果你希望pjsua自动把收到的视频流显示到屏幕上还需要在启动时指定窗口参数。老版本里视频窗口经常需要手动刷新最新版这层逻辑已经重写了窗口创建、渲染销毁全都有回调管理体验接近主流播放器。当你用SIP软电话或者另一个pjsua实例拨叫这个端口时SIP协商完成后终端会显示对端的视频画面。整个过程中pjsua日志会逐行打印SIP消息和媒体事件这些日志是我们排查问题时最直接的线索来源。3.2 视频编码与上手体验视频demo里最值得关注的部分是编码器的协商策略。pjsip在SDP协商阶段会列出本地支持的编码格式默认优先级顺序依次为H.264、VP8、H.263。双方最终使用的编码格式由带宽参数和两端能力交集决定。我用两个pjsua实例做回环测试时发现带宽参数对视频质量的影响非常直接。默认不限制带宽时H.264的码率会冲得比较高局域网内流畅度没问题如果你加--max-call-rate 512限制总码率画面清晰度会明显下降但卡顿反而更少。这个调参逻辑在真实业务接入时很有参考价值先限码率保住通话连续性再通过分辨率去补偿清晰度。编码链路的实际表现上H.264的编码延迟在本地测试中大约在50ms到80ms之间取决于分辨率SDK视频采集到显示的总链路延迟约150ms左右。要注意的是这个数值仅供参考实际手感与操作系统调度、摄像头驱动都有关联。3.3 视频窗口管理与事件回调pjsua对外暴露的视频接口主要是pjmedia层的视频窗口API例如pjsua_vid_win_get_info可以拿到窗口句柄和渲染状态。demo中对窗口事件的处理很清晰呼叫建立后pjsua内部会自动触发视频窗口的创建并把远程视频流渲染到新的窗口里。如果你要接入自己的界面框架最直接的方法是拦截pjsua的call_state回调在通话状态进入CONFIRMED之后去获取视频窗口参数并把它嵌入到自己的布局中。这算是一个比较常规的集成姿势官方demo虽然没有直接展示嵌入过程但接口已经支持。我自己在做产品集成时习惯把视频窗口是否正常弹出作为每次构建后的冒烟测试项。因为视频渲染涉及SDL、X11、显卡驱动三层依赖任何一层出问题视频demo都能如实反映出来而普通音频通话是测不出这些问题的。4. 实操笔记从编译到双人视频通话4.1 单机自测的完整步骤先讲单机自测。这是一个非常有用的手段可以快速验证本机的摄像头、编码器和渲染链路是否正常而无需引入第二台设备第一步启动第一路pjsua以接收模式运行./pjsua --idsip:1001127.0.0.1 --local-port5060 --video --auto-answer 200第二步另开一个终端启动第二路pjsua同样带视频参数但呼叫第一路./pjsua --idsip:1002127.0.0.1 --local-port5070 --video sip:1001127.0.0.1命令执行后被叫端的200应答会自动发出接着两个终端都会弹出视频窗口显示的是本机摄像头画面和远端摄像头画面。由于是单机双实例画面显示的内容是同一个摄像头但SIP信令和媒体流程是完整走了一遍的。单机自测中出现频率最高的错误是摄像头被占用当两个pjsua进程同时尝试打开同一个V4L2设备时第二个进程会报设备忙。解决办法是给两个实例分别指定不同的摄像头设备如果你有USB摄像头和内置摄像头或者指定--capture-dev-1关闭第二路的采集。4.2 双机联调的关键设置单机自测通过后建议立刻做一次跨机器的双机验证。很多问题在单机下发现不了因为单机自测的RTP包都走lo接口丢包和抖动几乎为零实际网络的干扰完全无法体现。双机测试时注意一下SIP账号里的IP要填写对方实际可达的网卡IP不要填127.0.0.1。呼叫命令改成./pjsua --idsip:1001192.168.1.100 --local-port5060 --video sip:1002192.168.1.101在防火墙层面要放行UDP 5060SIP信令和UDP 4000-4100RTP媒体端口。这里有个经验供参考如果你发现SIP信令通了但画面一直不出来优先怀疑RTP端口被防火墙拦了而不是编解码问题。在pjsua日志里会明确显示Media updated的状态如果出现了该字样但无画面再去查渲染层的问题。4.3 视频通话中可用参数的现场调优实际通话中我常用以下三个参数做组合调优效果立竿见影参数作用实测建议--quality画质级别范围1-10局域网内建议设为6互联网场景建议4--max-call-rate最大通话码率单位kbps视频通话建议512起步看场景需求调整--no-vad关闭静音检测视频通话时开启VAD会误伤语音建议关闭--cpu-speed限制CPU占用0为不限制嵌入式场景建议调到20以下关于--no-vad这个参数多说一句。很多视频场景下环境音和说话声交织在一起VAD会错误地把正常说话当成噪音截断导致对端听到断续的语音。实测下来视频通话时关闭VAD的整体通话体验远好于开启状态。这也是我唯一一个强烈建议不要按默认配置走的开关。5. 常见问题与排查经验5.1 视频画面不出现视频画面空白是遇到最多的问题。第一步检查日志找到Video device相关的启动行确认采集设备初始化成功。如果出现Unable to open video device字样就是摄像头被占用或者权限不足。第二步确认编码协商结果在呼叫建立后搜日志里的Video codec关键词pjsip会把协商后的视频编码格式打印出来。如果最终协商结果不是H.264而是PCMU音频编码说明SDP协商没有走到视频分支问题大概率出在启动参数漏了--video。地区性好的是新版pjsua在报错信息上做了优化常见错误都有明确的提示前缀不像早期版本直接抛一个errno就完事。5.2 编译阶段的疑难杂症编译报错大体集中在三类场景。头文件路径找不到时手动指定CFLAGS指向对应include目录警告被当作错误处理时编译参数里加--disable-assertions可以绕开一部分非致命错误FFmpeg库版本冲突时推荐用pjsip源码目录里的third_party脚本统一构建FFmpeg保证与pjsip自身的兼容性。如果你是为了评估视频demo而编译有一个小技巧优先用仓库里已经自带的configure脚本不要自己手写CMake或者Makefile官方脚本里对pjsip的特定路径依赖处理得最完善。自己改构建系统把时间耗在环境上不值得。5.3 性能与稳定性的进一步优化视频通话跑起来之后性能和稳定性的调优空间还很大。pjsip的媒体线程默认策略是每个媒体流一个线程高并发场景下线程数会线性增长。对服务器转发的应用建议在pjmedia配置里调整线程池模型降低线程创建销毁的频率。内存占用方面H.264编码器的帧缓冲和网络抖动缓冲jitter buffer是两块大头。jitter buffer默认配置偏保守60-120ms在弱网环境下建议调大至200ms以对抗抖动但也要注意端到端延迟会随之上升。如果需要在嵌入式设备上运行视频demo建议关闭不必要的协议模块比如--disable-speex-aec如果你用的是外置回音消除和--disable-g711-codec这些都能减少运行时内存Footprint。写在最后的实际操作建议在几个项目里用过pjsip的视频方案后我个人的体会是官方demo最大的价值不是给你一套能直接商用的代码而是给你一条验证技术选型的捷径。先跑通demo确认底层视频链路稳定、编码格式兼容、接口可控再动手做自己的业务层这个推进路径会顺畅很多。最后再分享一个小习惯pjsua日志默认输出到stdout但你随手加上--log-filepjsua.log排查问题时能省很多事。日志里SIP消息、媒体协商结果、编解码切换记录全都有而且带毫秒级时间戳是定位问题最可靠的依据。视频调试本身就是精细活把底子打稳后面才有得聊。本文还有配套的精品资源点击获取
简介PJSIP最新版安卓视频通话示例基于思科开放源代码的H.264编码库实现高质量视频画面的实时编码与传输。面向需要在手机端快速接入语音与视频通话能力的安卓开发者尤其适合已具备会话发起协议或音视频基础、希望直接参考可运行工程的人群不管是个人开发者还是小团队都可以借助它缩短开发周期。压缩包内共二百七十个文件主要包含Java业务代码、XML配置资源以及SO本地动态库另有Gradle构建脚本、PNG界面素材、JAR辅助工具和工程属性文件整体大小为二十四点六二兆字节目录组织清晰可快速导入安卓开发环境进行编译分析。示例覆盖了通话库初始化、账号注册、呼叫建立、视频编解码等关键环节压缩包中的JNI源码展示了Java层与C/C层的交互细节有助于理解本地库链接、接口封装和调用流程同时还能了解如何利用OpenH264硬件加速来提升实时处理流畅度。当前已有一千六百二十三人学习下载通过阅读源码可以少走弯路直接掌握在安卓平台集成PJSIP与H.264编码库的完整方法并关注网络自适应、异常处理、资源占用控制与多机型兼容等实战经验。 做一款带视频的SIP客户端绕不开pjsip。最近我把pjsip最新稳定版重新拉下来编译了一遍专门跑了跑官方自带的视频demo这一版在视频编解码链路和接口稳定性上确实比前几年顺手很多。这篇文章就围绕pjsip最新版本和视频demo这两个关键词把我从环境配置、编译参数、Demo运行到双向视频通话的完整过程梳理出来顺便把我在调试中踩过的坑一并交代清楚。如果你正准备评估pjsip的视频能力或者想基于它快速搭一个音视频通话原型这篇文章可以直接当操作手册来用。我会尽量讲清楚每一步背后的原因而不是单纯给命令。1. 整体设计与选型思路1.1 pjsip视频方案的核心构成在动代码之前我们先捋清楚pjsip的视频通话到底由哪几块拼起来。pjsip作为开源SIP协议栈底层分为pjlib基础库、pjlib-util工具库、pjmedia媒体处理、pjsip协议栈核心四层视频能力全部收敛在pjmedia层包含视频设备的采集、编码器注册、传输封装三个环节。视频demo没有走复杂的插件化架构而是直接调用pjsuapjsip的用户代理API层对外暴露的接口把呼叫状态机、媒体协商和窗口管理串起来。这个设计有个立竿见影的好处不需要自己去对接SIP信令细节pjsua已经帮我们把INVITE、200 OK、ACK这套流程封装好了开发者只需要关注自己的业务逻辑。对比早期的pjsip版本最新版在视频通道上做了不少重构重点是资源释放更干净连续多次呼叫后内存上涨的问题明显改善。选择最新版还有一个现实考量旧版在视频编解码上对H.264的支持不够完整尤其是openh264库的接入比较生硬新版默认配置下能更顺畅地走完SDP协商。如果你要复现视频demo直接选最新稳定版省去来回打补丁的时间。1.2 demo场景能覆盖哪些能力验证视频demo不是一个功能完整的即时通讯软件它更像一个最小可用产品用来验证底层的视频通路是否正常。通过这个demo你可以确认以下几点本机摄像头是否能被pjsip正确采集视频格式转换色彩空间、分辨率是否通畅H.264或其他视频编码器是否能正常编码和解码双向通话时的码率是否稳定SIP信令和媒体流的联动是否一致特别是呼叫建立后视频窗口能否自动弹出来DTMF、静音检测等音频能力在视频场景下是否正常工作我自己在实际测试中主要把它当做一个体检工具。在定制的业务客户端出问题的时候跑一趟官方demo就能快速判断问题出在pjsip底层还是我自己的业务代码上。这个思路比盲目打断点排错高效得多。2. 环境准备与编译配置2.1 依赖库选择与准备编译pjsip视频demo的第一步是把依赖库备齐。以Linux环境为例编译前优先确认以下组件sudo apt install build-essential git cmake sudo apt install libasound2-dev libx11-dev libv4l-dev sudo apt install libavcodec-dev libavformat-dev libswscale-dev sudo apt install libsdl2-dev sudo apt install libopenh264-devlibasound2-dev负责音频底层调用libv4l-dev用于V4L2视频采集libsdl2-dev用来支撑视频窗口渲染libopenh264-dev是Cisco开源的H.264编码器实现。有一个点值得强调如果不装libopenh264-dev编译时默认会走pjsip自带的视频编码器兜底逻辑但实际效果和硬编差距明显尤其是在低码率场景下。如果你打算在Windows上编译依赖库的获取方式会变成vcpkg或预编译包。思路一样只是包管理器不同这里不展开。2.2 编译参数详解进入pjsip源码根目录后配置和编译流程如下cd pjproject ./configure --enable-video --enable-ffmpeg --enable-sdl make dep make这里三个参数是视频demo能跑起来的关键--enable-video显式开启视频功能如果不加这个pjsua编译出来无法初始化视频设备--enable-ffmpeg接入FFmpeg的编解码和转码能力实际测试下来兼容性比pjsip内置的编码器更好--enable-sdl启用SDL的视频渲染后端没有它视频窗口就没有地方显示有一个容易忽略的细节是configure脚本对第三方库头文件的探测顺序。如果你同时用apt安装了ffmpeg开发包和自编译的ffmpegconfigure可能误选中旧版本的头文件导致最终编出来视频格式不匹配。稳妥做法是配置前先确认pkg-config的搜索路径没有冗余项。编译完成后生成的pjsua可执行文件在pjsip-apps/bin目录下。用ldd命令检查一下动态库依赖是否完整尤其是libopenh264和FFmpeg相关库能提前发现环境缺失。3. 视频demo核心机制解析3.1 demo的启动流程与参数视频demo本质上就是pjsua带上一组视频相关的启动参数。官方demo最常用的启动方式是在pjsua命令行里指定本机SIP端口、账号和带宽限制./pjsua --port 5080 --video --no-audio --auto-answer 200--video告诉pjsua需要在媒体会话里加入视频流--no-audio是调试时为了隔离问题用的只测视频通路--auto-answer 200则是让被叫方自动应答方便做双机互通测试。如果你希望pjsua自动把收到的视频流显示到屏幕上还需要在启动时指定窗口参数。老版本里视频窗口经常需要手动刷新最新版这层逻辑已经重写了窗口创建、渲染销毁全都有回调管理体验接近主流播放器。当你用SIP软电话或者另一个pjsua实例拨叫这个端口时SIP协商完成后终端会显示对端的视频画面。整个过程中pjsua日志会逐行打印SIP消息和媒体事件这些日志是我们排查问题时最直接的线索来源。3.2 视频编码与上手体验视频demo里最值得关注的部分是编码器的协商策略。pjsip在SDP协商阶段会列出本地支持的编码格式默认优先级顺序依次为H.264、VP8、H.263。双方最终使用的编码格式由带宽参数和两端能力交集决定。我用两个pjsua实例做回环测试时发现带宽参数对视频质量的影响非常直接。默认不限制带宽时H.264的码率会冲得比较高局域网内流畅度没问题如果你加--max-call-rate 512限制总码率画面清晰度会明显下降但卡顿反而更少。这个调参逻辑在真实业务接入时很有参考价值先限码率保住通话连续性再通过分辨率去补偿清晰度。编码链路的实际表现上H.264的编码延迟在本地测试中大约在50ms到80ms之间取决于分辨率SDK视频采集到显示的总链路延迟约150ms左右。要注意的是这个数值仅供参考实际手感与操作系统调度、摄像头驱动都有关联。3.3 视频窗口管理与事件回调pjsua对外暴露的视频接口主要是pjmedia层的视频窗口API例如pjsua_vid_win_get_info可以拿到窗口句柄和渲染状态。demo中对窗口事件的处理很清晰呼叫建立后pjsua内部会自动触发视频窗口的创建并把远程视频流渲染到新的窗口里。如果你要接入自己的界面框架最直接的方法是拦截pjsua的call_state回调在通话状态进入CONFIRMED之后去获取视频窗口参数并把它嵌入到自己的布局中。这算是一个比较常规的集成姿势官方demo虽然没有直接展示嵌入过程但接口已经支持。我自己在做产品集成时习惯把视频窗口是否正常弹出作为每次构建后的冒烟测试项。因为视频渲染涉及SDL、X11、显卡驱动三层依赖任何一层出问题视频demo都能如实反映出来而普通音频通话是测不出这些问题的。4. 实操笔记从编译到双人视频通话4.1 单机自测的完整步骤先讲单机自测。这是一个非常有用的手段可以快速验证本机的摄像头、编码器和渲染链路是否正常而无需引入第二台设备第一步启动第一路pjsua以接收模式运行./pjsua --idsip:1001127.0.0.1 --local-port5060 --video --auto-answer 200第二步另开一个终端启动第二路pjsua同样带视频参数但呼叫第一路./pjsua --idsip:1002127.0.0.1 --local-port5070 --video sip:1001127.0.0.1命令执行后被叫端的200应答会自动发出接着两个终端都会弹出视频窗口显示的是本机摄像头画面和远端摄像头画面。由于是单机双实例画面显示的内容是同一个摄像头但SIP信令和媒体流程是完整走了一遍的。单机自测中出现频率最高的错误是摄像头被占用当两个pjsua进程同时尝试打开同一个V4L2设备时第二个进程会报设备忙。解决办法是给两个实例分别指定不同的摄像头设备如果你有USB摄像头和内置摄像头或者指定--capture-dev-1关闭第二路的采集。4.2 双机联调的关键设置单机自测通过后建议立刻做一次跨机器的双机验证。很多问题在单机下发现不了因为单机自测的RTP包都走lo接口丢包和抖动几乎为零实际网络的干扰完全无法体现。双机测试时注意一下SIP账号里的IP要填写对方实际可达的网卡IP不要填127.0.0.1。呼叫命令改成./pjsua --idsip:1001192.168.1.100 --local-port5060 --video sip:1002192.168.1.101在防火墙层面要放行UDP 5060SIP信令和UDP 4000-4100RTP媒体端口。这里有个经验供参考如果你发现SIP信令通了但画面一直不出来优先怀疑RTP端口被防火墙拦了而不是编解码问题。在pjsua日志里会明确显示Media updated的状态如果出现了该字样但无画面再去查渲染层的问题。4.3 视频通话中可用参数的现场调优实际通话中我常用以下三个参数做组合调优效果立竿见影参数作用实测建议--quality画质级别范围1-10局域网内建议设为6互联网场景建议4--max-call-rate最大通话码率单位kbps视频通话建议512起步看场景需求调整--no-vad关闭静音检测视频通话时开启VAD会误伤语音建议关闭--cpu-speed限制CPU占用0为不限制嵌入式场景建议调到20以下关于--no-vad这个参数多说一句。很多视频场景下环境音和说话声交织在一起VAD会错误地把正常说话当成噪音截断导致对端听到断续的语音。实测下来视频通话时关闭VAD的整体通话体验远好于开启状态。这也是我唯一一个强烈建议不要按默认配置走的开关。5. 常见问题与排查经验5.1 视频画面不出现视频画面空白是遇到最多的问题。第一步检查日志找到Video device相关的启动行确认采集设备初始化成功。如果出现Unable to open video device字样就是摄像头被占用或者权限不足。第二步确认编码协商结果在呼叫建立后搜日志里的Video codec关键词pjsip会把协商后的视频编码格式打印出来。如果最终协商结果不是H.264而是PCMU音频编码说明SDP协商没有走到视频分支问题大概率出在启动参数漏了--video。地区性好的是新版pjsua在报错信息上做了优化常见错误都有明确的提示前缀不像早期版本直接抛一个errno就完事。5.2 编译阶段的疑难杂症编译报错大体集中在三类场景。头文件路径找不到时手动指定CFLAGS指向对应include目录警告被当作错误处理时编译参数里加--disable-assertions可以绕开一部分非致命错误FFmpeg库版本冲突时推荐用pjsip源码目录里的third_party脚本统一构建FFmpeg保证与pjsip自身的兼容性。如果你是为了评估视频demo而编译有一个小技巧优先用仓库里已经自带的configure脚本不要自己手写CMake或者Makefile官方脚本里对pjsip的特定路径依赖处理得最完善。自己改构建系统把时间耗在环境上不值得。5.3 性能与稳定性的进一步优化视频通话跑起来之后性能和稳定性的调优空间还很大。pjsip的媒体线程默认策略是每个媒体流一个线程高并发场景下线程数会线性增长。对服务器转发的应用建议在pjmedia配置里调整线程池模型降低线程创建销毁的频率。内存占用方面H.264编码器的帧缓冲和网络抖动缓冲jitter buffer是两块大头。jitter buffer默认配置偏保守60-120ms在弱网环境下建议调大至200ms以对抗抖动但也要注意端到端延迟会随之上升。如果需要在嵌入式设备上运行视频demo建议关闭不必要的协议模块比如--disable-speex-aec如果你用的是外置回音消除和--disable-g711-codec这些都能减少运行时内存Footprint。写在最后的实际操作建议在几个项目里用过pjsip的视频方案后我个人的体会是官方demo最大的价值不是给你一套能直接商用的代码而是给你一条验证技术选型的捷径。先跑通demo确认底层视频链路稳定、编码格式兼容、接口可控再动手做自己的业务层这个推进路径会顺畅很多。最后再分享一个小习惯pjsua日志默认输出到stdout但你随手加上--log-filepjsua.log排查问题时能省很多事。日志里SIP消息、媒体协商结果、编解码切换记录全都有而且带毫秒级时间戳是定位问题最可靠的依据。视频调试本身就是精细活把底子打稳后面才有得聊。本文还有配套的精品资源点击获取
