🎬 音视频同步 · 算法实战
📺 机顶盒 · 从零到精通
📚 30 章 · 完整目录
1
音视频同步基础
概念·挑战
同步的概念、为什么需要同步、网络抖动/解码/渲染延迟
2
时间戳体系
PTS·DTS·STC
显示/解码时间戳、系统时钟、时间戳生成与传递
3
系统时钟模型
主时钟·漂移
Master Clock、参考时钟选择、时钟漂移与校正
4
基于PTS的同步策略
三种基准
音频/视频/外部时钟基准，优缺点对比
5
音频时钟驱动模型
PCM基准
音频PCM数据流作为时间基准、连续性、抖动处理
6
视频帧率控制
刷新·转换
帧率与显示刷新率、帧率转换、帧重复/丢弃策略
7
缓冲机制
Jitter·Decoder
音频/视频缓冲、缓冲大小动态调整
8
音视频同步算法核心
A/V Sync
算法流程、同步误差计算、容忍度Threshold设定
9
同步误差修正
加速·对齐
音频加速/减速(Resampling)、视频帧重复/丢弃、轨道对齐
10
音频重采样技术
SRC·插值
采样率转换、线性/高阶插值、对音质的影响
11
视频帧丢弃策略
PTS·队列
基于PTS/解码队列/显示时间的丢弃
12
视频帧重复策略
视觉·PTS
帧重复视觉影响、PTS处理、与解码器交互
13
时间戳管理
单调·回绕
单调性检查、时间戳回绕/跳跃处理
14
网络流媒体同步
RTSP·HLS
RTP时间戳、HLS/DASH同步、自适应码率挑战
15
本地文件播放同步
MP4·TS
容器同步信息、时钟模型、seek后同步恢复
16
直播场景同步
低延迟·对齐
低延迟直播策略、推流/播放端时钟对齐、音画不同步
17
硬件解码同步
PTS·渲染
硬件解码器PTS传递、渲染同步、硬件加速时钟管理
18
软件解码同步
帧率·CPU
软件解码帧率控制、渲染同步、CPU负载影响
19
多音轨/多视频流同步
画中画
主副音轨同步、画中画、多视角同步
20
同步性能优化
延迟·抖动
减少同步延迟/抖动、CPU/内存优化
21
同步测试与调试
测量·工具
误差测量、日志/可视化调试、自动化测试框架
22
常见同步问题排查
音画不同步
原因分析、音频卡顿与视频跳帧、网络抖动关联
23
Android平台实现
MediaCodec
MediaCodec同步、AudioTrack/SurfaceView、VSync
24
iOS平台实现
AVFoundation
AVPlayer同步控制、CADisplayLink
25
Linux平台实现
ALSA·DRM
ALSA音频时钟、DRM/KMS显示、PulseAudio同步
26
嵌入式平台实现
轻量·RTOS
资源限制、轻量级同步算法、RTOS实现
27
高级同步技术
ML·自适应
机器学习预测、自适应参数、跨设备同步
28
同步标准与规范
ITU·ATSC
ITU-R BT.1359、ATSC A/52、DVB要求
29
同步算法性能评估
MOS·PSNR
主观MOS、客观PSNR/SSIM、延迟与准确度权衡
30
综合实战项目
播放器·调优
从零构建同步播放器、集成策略、性能调优与报告