01
延迟的本质
什么是实时数据流延迟?延迟的构成(网络延迟、处理延迟、排队延迟、序列化/反序列化延迟)。
核心概念基础
02
延迟的度量
P50、P99、P999延迟的含义,如何正确测量端到端延迟。
监控量化
03
网络传输优化
TCP vs UDP的选择,Nagle算法与TCP_NODELAY,连接复用与长连接。
网络传输
04
序列化与反序列化
JSON、Protobuf、Avro、FlatBuffers的性能对比与选型。
编码性能
05
缓冲区与背压机制
Ring Buffer原理,背压(Backpressure)的实现策略。
流控缓冲
06
零拷贝技术
mmap、sendfile、Direct Buffer在流处理中的应用。
内核高效IO
07
异步与非阻塞I/O
Java NIO、Netty、epoll模型详解。
IO模型并发
08
数据压缩
Snappy、LZ4、Zstandard的压缩比与速度权衡。
压缩算法
09
消息队列选型
Kafka、Pulsar、RabbitMQ的延迟特性对比。
MQ中间件
10
Kafka延迟优化
分区策略、批量发送、acks设置、min.insync.replicas调优。
Kafka调优
11
Pulsar延迟优化
BookKeeper写入路径、分段存储、IO线程模型。
Pulsar存储
12
流处理引擎
Flink、Spark Streaming、Storm的延迟对比与选型。
计算引擎选型
13
Flink延迟优化
Checkpoint调优、State Backend选择、算子链与Task Slot。
Flink状态
14
时间语义与水位线
Event Time、Processing Time、Watermark对延迟的影响。
时间水位线
15
数据倾斜处理
KeyBy优化、自定义分区器、动态负载均衡。
倾斜均衡
16
内存管理
堆外内存、内存池、对象复用减少GC停顿。
JVMGC
17
CPU缓存优化
Cache Line对齐、伪共享(False Sharing)问题。
CPU缓存
18
锁优化
无锁编程、CAS、读写锁、分段锁在流处理中的应用。
并发锁
19
线程模型
Reactor模式、Proactor模式、Disruptor框架。
架构高吞吐
20
批处理与微批处理
微批的延迟代价,如何平衡吞吐与延迟。
批处理权衡
21
端到端延迟追踪
分布式追踪(Jaeger/Zipkin)在流系统中的部署。
追踪可观测
22
时钟同步
NTP、PTP在分布式系统中的重要性。
时钟分布式
23
硬件加速
RDMA、DPDK、GPU在低延迟传输中的实践。
硬件加速
24
云原生环境
容器网络(CNI)、服务网格(Istio)对延迟的影响。
云原生K8s
25
全球部署
跨地域延迟优化,边缘计算与就近接入。
边缘全球化
26
监控与告警
Prometheus + Grafana搭建延迟监控看板。
监控可视化
27
混沌工程
通过故障注入验证延迟边界。
混沌韧性
28
案例分析:高频交易
高频交易系统的延迟优化实践。
金融极低延迟
29
案例分析:物联网采集
物联网百万级设备数据采集延迟优化。
IoT海量接入
30
未来趋势
eBPF、XDP、CXL在延迟优化中的潜力。
前沿创新