01
日志采集概述
为什么需要低延迟日志采集？日志采集的挑战与目标。
入门核心概念
02
日志采集架构演进
从集中式到分布式，再到流式架构的演变。
架构历史
03
核心指标
延迟、吞吐量、可靠性、资源消耗的定义与权衡。
度量SLA
04
日志格式设计
结构化日志 vs 非结构化日志，JSON/Protobuf/MessagePack 对比。
序列化对比
05
采集端技术选型
Filebeat、Fluentd、Logstash、Vector 性能对比。
选型benchmark
06
Filebeat 深度解析
Harvester、Spooler、Registry 文件机制。
Filebeat内部机制
07
Fluentd 与 Fluent Bit
插件生态与 Buffer 机制。
FluentdBuffer
08
Vector 高性能之道
基于 Rust 的零拷贝与管道模型。
Rust零拷贝
09
自定义采集 Agent
Go 语言实现高性能日志采集器。
Go实战
10
多行日志处理
堆栈跟踪、异常日志的合并策略。
多行聚合
11
日志上下文增强
Kubernetes Pod 元数据、环境标签注入。
K8s元数据
12
传输协议选择
TCP、UDP、HTTP、gRPC 延迟对比。
协议延迟
13
Kafka 作为传输枢纽
分区策略、ACK 机制与低延迟调优。
Kafka调优
14
Kafka 生产端优化
批量发送、压缩算法（Snappy/Zstd）、内存池。
生产者压缩
15
Kafka 消费端优化
预取策略、消费者组重平衡优化。
消费者重平衡
16
零拷贝技术
sendfile、splice、DMA 在日志传输中的应用。
零拷贝内核
17
序列化与反序列化
Protobuf 与 FlatBuffers 的延迟优势。
ProtobufFlatBuffers
18
网络层优化
TCP_NODELAY、SO_REUSEPORT、内核旁路（DPDK）。
网络DPDK
19
背压机制
从采集端到传输端的流量控制策略。
背压流控
20
数据压缩
LZ4、Zstandard、Gzip 压缩比与速度权衡。
压缩算法
21
端到端延迟测量
NTP 同步、时间戳精度、延迟追踪。
测量NTP
22
可靠性保证
At-least-once、Exactly-once 语义实现。
可靠性语义
23
故障恢复
断点续传、本地缓存、死信队列。
容错死信
24
大规模集群部署
采集 Agent 的配置管理与灰度发布。
集群灰度
25
监控与告警
采集延迟、丢失率、队列积压的 Prometheus 指标。
监控Prometheus
26
安全传输
TLS/mTLS 加密、身份认证、审计日志。
安全TLS
27
云原生环境
Sidecar 模式、DaemonSet 部署、eBPF 采集。
云原生eBPF
28
边缘计算场景
弱网环境下的日志缓存与同步策略。
边缘弱网
29
实战案例
某金融交易系统毫秒级日志采集方案。
金融实战
30
未来趋势
OpenTelemetry、Logs-to-Metrics、AI 驱动的日志分析。
未来AIOps