HarmonyOS音视频开发概述

在音视频开发指导中将介绍各种涉及音频、视频播放或录制功能场景的开发方式指导开发者如何使用系统提供的音视频 API 实现对应功能。比如使用 TonePlayer 实现简单的提示音当设备接收到新消息时会发出短促的“滴滴”声使用 AVPlayer 实现音乐播放器循环播放一首音乐。在每个功能中会介绍多种实现方式以应对不同的使用场景以及该场景相关的子功能点。比如在音频播放功能内会同时介绍音频的并发策略、音量管理和输出设备等在操作系统中的处理方式帮助开发者能够开发出功能覆盖更全面的应用。本开发指导仅针对音视频播放或录制本身由ohos.multimedia.audio下文简称 audio 模块和ohos.multimedia.media下文简称 media 模块提供相关能力不涉及 UI 界面、图形处理、媒体存储或其他相关领域功能。开发说明在开发音频功能之前尤其是要实现处理音频数据的功能前建议开发者先了解声学相关的知识帮助理解操作系统提供的 API 是如何控制音频系统从而开发出更易用、体验更好的音视频类应用。建议了解的相关概念包括但不限于● 音频量化的过程采样 量化 编码● 音频量化过程的相关概念模拟信号和数字信号、采样率、声道、采样格式、位宽、码率、常见编码格式如 AAC、MP3、PCM、WMA 等、常见封装格式如 WAV、MPA、FLAC、AAC、OGG 等在开发音乐、视频播放功能之前建议了解流媒体播放的相关概念包括但不限于● 播放过程网络协议 容器格式 音视频编解码 图形/音频渲染● 网络协议比如 HLS、HTTP/HTTPS容器格式比如 mp4mkvmpeg-tswebm。● 编码格式比如 h263/h264/h265MPEG4/MPEG2。音频流介绍在开发音频应用之前还需要了解什么是音频流它是 HarmonyOS 音频系统中的关键概念在之后的章节中会多次提及。音频流是音频系统中对一个具备音频格式和音频使用场景信息的独立音频数据处理单元的定义可以表示播放也可以表示录制并且具备独立音量调节和音频设备路由切换能力。音频流基础信息通过AudioStreamInfo表示包含采样、声道、位宽、编码信息是创建音频播放或录制流的必要参数描述了音频数据的基本属性。在配置时开发者需要保证基础信息与传输的音频数据是相匹配的音频系统才能正确处理数据。音频流使用场景信息除了基本属性音频流还需要具备使用场景信息。基础信息只能对音频数据进行描述但在实际的使用过程中不同的音频流在音量大小设备路由并发策略上是有区别的。系统就是通过音频流所附带的使用场景信息为不同的音频流制定合适的处理策略以达到最佳的音频用户体验。● 播放场景音频播放场景的信息通过StreamUsage和ContentType进行描述。StreamUsage 指音频流本身的用途类型包括媒体、语音通信、语音播报、通知、铃声等。ContentType 指音频流中数据的内容类型包括语音、音乐、影视、通知、铃声等。● 录制场景音频流录制场景的信息通过SourceType进行描述。SourceType 指音频流中录音源的类型包括麦克风音频源、语音识别音频源、语音通话音频源等。支持的音频格式audio 模块下的接口支持 PCM 编码包括 AudioRenderer、AudioCapturer、TonePlayer、OpenSL ES 等。音频格式说明● 支持的常用的音频采样率Hz8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、96000具体参考枚举AudioSamplingRate。不同设备支持的采样率规格会存在差异。● 支持单声道、双声道具体参考AudioChannel。● 支持的采样格式U8无符号 8 位整数、S16LE带符号的 16 位整数小尾数、S24LE带符号的 24 位整数小尾数、S32LE带符号的 32 位整数小尾数、F32LE带符号的 32 位浮点数小尾数具体参考AudioSampleFormat。由于系统限制S24LE、S32LE、F32LE 仅部分设备支持请根据实际情况使用。小尾数指的是小端模式即数据的高字节保存在内存的高地址中而数据的低字节保存在内存的低地址中。这种存储模式将地址的高低和数据的位权有效结合起来高地址部分权值高低地址部分权值低。media 模块下的接口支持的音视频格式将在AVPlayer和AVRecorder的介绍中承载。media 模块提供了AVPlayer和AVRecorder用于播放、录制音视频。AVPlayerAVPlayer 主要工作是将 Audio/Video 媒体资源比如 mp4/mp3/mkv/mpeg-ts 等转码为可供渲染的图像和可听见的音频模拟信号并通过输出设备进行播放。AVPlayer 提供功能完善一体化播放能力应用只需要提供流媒体来源不负责数据解析和解码就可达成播放效果。音频播放当使用 AVPlayer 开发音乐应用播放音频时其交互关系如图所示。图 1 音频播放外部模块交互图音乐类应用通过调用 JS 接口层提供的AVPlayer接口实现相应功能时框架层会通过播放服务Player Framework将资源解析成音频数据流PCM音频数据流经过软件解码后输出至音频服务Audio Framework由音频服务输出至音频驱动渲染实现音频播放功能。完整的音频播放需要应用、Player Framework、Audio Framework、音频 HDI 共同实现。图 1 中数字标注表示需要数据与外部模块的传递。\1. 音乐应用将媒体资源传递给 AVPlayer 接口。\2. Player Framework 将音频 PCM 数据流输出给 Audio Framework再由 Audio Framework 输出给音频 HDI。视频播放当使用 AVPlayer 开发视频应用播放视频时其交互关系如图所示。图 2 视频播放外部模块交互图应用通过调用 JS 接口层提供的 AVPlayer 接口实现相应功能时框架层会通过播放服务Player Framework解析成单独的音频数据流和视频数据流音频数据流经过软件解码后输出至音频服务Audio Framework再至硬件接口层的音频 HDI实现音频播放功能。视频数据流经过硬件推荐/软件解码后输出至图形渲染服务Graphic Framework再输出至硬件接口层的显示 HDI完成图形渲染。完整的视频播放需要应用、XComponent、Player Framework、Graphic Framework、Audio Framework、显示 HDI 和音频 HDI 共同实现。图 2 中数字标注表示需要数据与外部模块的传递。\1. 应用从 XComponent 组件获取窗口 SurfaceID获取方式参考XComponent。\2. 应用把媒体资源、SurfaceID 传递给 AVPlayer 接口。\3. Player Framework 把视频 ES 数据流输出给解码 HDI解码获得视频帧NV12/NV21/RGBA。\4. Player Framework 把音频 PCM 数据流输出给 Audio FrameworkAudio Framework 输出给音频 HDI。\5. Player Framework 把视频帧NV12/NV21/RGBA输出给 Graphic FrameworkGraphic Framework 输出给显示 HDI。支持的格式与协议推荐使用以下主流的播放格式音视频容器、音视频编码属于内容创作者所掌握的专业领域不建议应用开发者自制码流进行测试以免产生无法播放、卡顿、花屏等兼容性问题。若发生此类问题不会影响系统退出播放即可。支持的协议如下支持的音频播放格式如下说明视频播放支持的视频格式分为必选规格和可选规格。必选规格为所有设备均支持的视频格式。对于可选规格不同设备的实际实现不同。建议开发者做对应的兼容处理保证应用功能全平台兼容。支持的视频播放格式和主流分辨率如下AVRecorderAVRecorder 主要工作是捕获音频信号接收视频信号完成音视频编码并保存到文件中帮助开发者轻松实现音视频录制功能包括开始录制、暂停录制、恢复录制、停止录制、释放资源等功能控制。它允许调用者指定录制的编码格式、封装格式、文件路径等参数。● 图 3 视频录制外部模块交互图音频录制应用通过调用 JS 接口层提供的 AVRecorder 接口实现音频录制时框架层会通过录制服务Player Framework调用音频服务Audio Framework通过音频 HDI 捕获音频数据通过软件编码封装后保存至文件中实现音频录制功能。● 视频录制应用通过调用 JS 接口层提供的 AVRecorder 接口实现视频录制时先通过 Camera 接口调用相机服务Camera Framework通过视频 HDI 捕获图像数据送至框架层的录制服务录制服务将图像数据通过视频编码 HDI 编码再将编码后的图像数据封装至文件中实现视频录制功能。说明AVRecorder 只负责视频数据的处理需要与视频数据采集模块配合才能完成视频录制。视频数据采集模块需要通过 Surface 将视频数据传递给 AVRecorder 进行数据处理。当前常用的数据采集模块为相机模块相关说明以相机举例相机模块目前仅对系统应用开放。通过音视频录制组合可分别实现纯音频录制、纯视频录制音视频录制。图 3 中数字标注表示需要数据与外部模块的传递。\1. 应用通过 AVRecorder 接口从录制服务获取 SurfaceID。\2. 应用将 SurfaceID 设置给相机服务相机服务可以通过 SurfaceID 获取到 Surface。相机服务通过视频 HDI 捕获图像数据送至框架层的录制服务。\3. 相机服务通过 Surface 将视频数据传递给录制服务。\4. 录制服务通过视频编码 HDI 模块将视频数据编码。\5. 录制服务将音频参数设置给音频服务并从音频服务获取到音频数据。支持的格式支持的音频源如下支持的视频源如下支持的音视频编码格式如下支持的输出文件格式如下最后这里整理了一份《鸿蒙零基础入门学习指南》希望能对那些想要学习鸿蒙但是有没有方向的人提供一点帮助。本文档适用于HarmonyOS应用开发的初学者由于文档内容过多因此为了避免影响到大家的阅读体验在此只以截图展示部分内容详细完整版的看文末有免费的获取方式《鸿蒙零基础入门学习指南》目录一、快速入门适用于HarmonyOS应用开发的初学者。通过构建一个简单的具有页面跳转/返回功能的应用快速了解工程目录的主要文件熟悉HarmonyOS应用开发流程。开发准备基本概念工具准备构建第一个ArkTS应用Stage模型构建第一个ArkTS应用FA模型构建第一个JS应用FA模型二、开发基础知识应用程序包基础知识应用程序包概述应用程序包结构应用程序包多HAP机制应用程序包安装和卸载流程应用程序包更新流程共享包应用程序包快速修复应用配置文件Stage模型应用配置文件概述Stage模型app.json5配置文件module.json5配置文件应用配置文件概述FA模型应用配置文件概述FA模型app对象内部结构deviceConfig内部结构module对象内部结构三、资源分类与访问应用开发过程中经常需要用到颜色、字体、间距、图片等资源在不同的设备或配置中这些资源的值可能不同。资源分类与访问资源分类资源目录资源组目录创建资源目录和资源文件创建资源目录和资源文件创建资源目录创建资源文件资源访问应用资源系统资源资源匹配四、学习ArkTs语言ArkTS是HarmonyOS优选的主力应用开发语言。ArkTS围绕应用开发在TypeScript简称TS生态基础上做了进一步扩展继承了TS的所有特性是TS的超集。因此在学习ArkTS语言之前建议开发者具备TS语言开发能力。初识ArkTS语言基本语法基本语法概述声明式UI描述自定义组件状态管理其他状态管理其他状态管理概述Watch装饰器状态变量更改通知$$语法内置组件双向同步渲染控制渲染控制概述if/else条件渲染ForEach循环渲染LazyForEach数据懒加载扫描下方二维码免费领取《鸿蒙5.0零基础入门学习指南》