01
日志系统概述
低延迟交易系统对日志的需求、核心挑战、课程目标与学习路径
入门背景
02
核心性能指标
延迟、吞吐量、抖动、持久性、一致性及权衡关系
度量关键
03
I/O模型基础
阻塞/非阻塞、I/O多路复用(select/poll/epoll)、异步I/O对比
系统原理
04
零拷贝技术
mmap、sendfile、splice原理与日志系统应用
性能内核
05
内存映射文件
mmap详解、与write对比、日志写入实战
mmap存储
06
日志格式设计
二进制vs文本、Schema设计、字段对齐与内存布局
设计高效
07
序列化与反序列化
FlatBuffers、Cap'n Proto、Protobuf低延迟对比
编解码选型
08
无锁数据结构
无锁队列、Ring Buffer、内存屏障与CAS操作
并发原子
09
生产者-消费者模型
多生产者单消费者、批量提交与刷盘策略
架构缓冲
10
异步写入架构
IO线程分离、双缓冲机制、批量写入与合并
异步吞吐
11
日志轮转策略
基于大小/时间/文件数轮转，低延迟优化
运维轮转
12
文件系统选择
EXT4/XFS/ZFS、NVMe fsync优化、O_DIRECT/O_SYNC
存储调优
13
内核旁路技术
DPDK、SPDK在日志系统中的应用与局限
高性能用户态
14
CPU亲和性与隔离
绑核、isolcpus、cgroups、避免上下文切换
调度隔离
15
缓存优化
Cache Line对齐、预取、写合并、避免False Sharing
CPU优化
16
网络日志传输
UDP vs TCP、RDMA、共享内存、多播日志
网络传输
17
日志压缩
LZ4、Zstd、Snappy延迟与压缩比权衡、流式压缩
压缩算法
18
时间戳精度
TSC、CLOCK_MONOTONIC、PTP、纳秒级获取
时钟精度
19
日志ID生成
Snowflake、UUID v7、单调递增ID、分布式ID
ID分布式
20
日志查询与检索
索引结构、倒排索引、时间范围查询、模糊匹配优化
检索查询
21
日志可视化
Grafana、Kibana、自建Dashboard、实时监控
可视化监控
22
日志采样与降级
动态采样率、熔断机制、背压策略、丢失容忍
可靠性弹性
23
多线程日志安全
线程局部存储(TLS)、无锁写入、上下文传递
线程安全
24
日志级别动态调整
运行时修改级别、热加载配置、无中断切换
动态配置
25
异常处理与容错
磁盘满、写入重试、优雅降级、数据完整性校验
容错健壮
26
性能测试与基准
wrk、fio、perf、火焰图、延迟分布(P50/P99/P999)
测试分析
27
日志系统集成
与交易框架(QuickFIX/OpenFIX)、监控系统集成
集成生态
28
实战案例一
基于mmap+无锁队列的极简日志库实现
实战mmap
29
实战案例二
分布式交易系统的日志收集与传输管道
实战管道
30
总结与进阶
低延迟日志系统设计模式、未来趋势(eBPF、可观测性)
展望模式