瑞芯微 · 音视频编解码实战
🎯 30章 从入门到项目
1
瑞芯微平台概述
RK系列
RK芯片家族、IPC/NVR/AI盒子、RV1126/RK3588选型
2
开发环境搭建
Ubuntu
交叉编译、SDK下载、Buildroot与Yocto选择
3
RK MPP 框架入门
核心
MPP模块划分：VDPP、RGA、MJPEG、H264/H265
4
RK MPP 核心API
API
mpi_decoder/encoder 初始化、配置、启动与销毁
5
视频解码实战 H264
解码
MPP解码本地H264文件，输出YUV数据
6
视频解码实战 H265
4K
H265解码差异，4K视频注意事项
7
视频编码实战 H264
码率控制
YUV→H264，CBR/VBR码率控制
8
视频编码实战 H265
调优
H265参数调优，编码延迟优化
9
JPEG编解码
缩略图
YUV→JPEG / JPEG→YUV，生成缩略图
10
RGA 图像处理
硬件加速
缩放、裁剪、旋转、格式转换(NV12/RGB)
11
RGA 实战
OSD水印
NV12→RGB，叠加OSD水印
12
VDPP 视频处理
画质
去噪、锐化、3D降噪，参数配置
13
VDPP 实战
增强
解码链路中插入VDPP，提升画质
14
AI 推理与编解码结合
RKNN
RKNN模型推理，AI结果叠加视频流
15
RTSP 推流实战
live555
自研RTSP Server，推送H264/H265
16
RTSP 拉流与解码
网络流
拉取RTSP流，MPP解码并显示
17
音视频同步
PTS/DTS
时间戳对齐策略
18
音频编解码基础
ALSA
RK音频接口，采集与播放
19
音频编码实战
AAC/G711
PCM→AAC编码
20
音频解码实战
PCM播放
解码AAC文件，输出PCM播放
21
音视频封装 MP4
MP4v2/FFmpeg
H264+AAC封装为MP4
22
音视频解封装 MP4
提取
从MP4提取H264和AAC流
23
多路视频处理
RK3588
4路1080p同时解码
24
多路视频拼接
RGA
多路拼接为一路画面
25
录像存储实战
循环录像
按时间切片、异常断电保护
26
性能优化
零拷贝
内存池、CPU/GPU/NPU负载均衡
27
调试与日志
perf
MPP日志等级、perf分析编解码性能
28
常见问题排查
花屏/卡顿
解码花屏、编码卡顿、内存泄漏、帧率不稳
29
项目实战 简易IPC
网络摄像头
采集→编码→推流
30
项目实战 简易NVR
网络录像机
拉流→解码→存储→显示