📓 日志压缩与远程收集 · 实战
30章
完整目录
1
01
日志基础与重要性
日志级别
格式规范
生命周期
2
02
日志生成与采集
应用日志
系统日志
容器采集
Filebeat
3
03
日志压缩原理
gzip/bzip2/zstd
压缩比
实时/批量
4
04
压缩工具实战
gzip
bzip2
zstd
脚本编写
5
05
日志轮转与归档
logrotate
按大小/时间
归档策略
6
06
远程日志传输协议
TCP/UDP
HTTP/HTTPS
Syslog
Relp
7
07
日志传输安全
TLS/SSL
身份认证
完整性
限速
8
08
收集架构设计
集中式
分布式
边缘收集
高可用
9
09
Filebeat实战
安装配置
多输入输出
模块
调优
10
10
Logstash实战
管道配置
输入/过滤/输出
11
11
Fluentd实战
安装
配置语法
插件
缓冲
12
12
日志解析与结构化
正则
JSON
Grok
字段提取
13
13
日志过滤与清洗
无用过滤
脱敏
去重
格式化
14
14
日志缓冲与队列
内存/磁盘缓冲
Kafka/RabbitMQ
背压
15
15
Kafka日志收集
集群搭建
Topic
生产者消费者
16
16
日志存储方案
Elasticsearch
S3/MinIO
本地/混合
17
17
ES日志索引
生命周期
分片
映射
模板
18
18
日志检索与分析
Kibana
查询语法
聚合
告警
19
19
日志监控与告警
异常检测
阈值/频率
智能告警
20
20
压缩策略优化
分层压缩
冷热分离
窗口调整
21
21
大规模日志收集
水平扩展
负载均衡
分片
基准测试
22
22
故障排查
丢日志
延迟
性能瓶颈
错误处理
23
23
容器化日志收集
Docker驱动
K8s架构
Sidecar
DaemonSet
24
24
云原生日志方案
AWS
Azure
GCP
阿里云SLS
25
25
日志合规与审计
GDPR
保留策略
审计日志
访问控制
26
26
压缩与传输自动化
Ansible
CI/CD
配置管理
版本控制
27
27
日志成本控制
存储成本
压缩分析
带宽优化
生命周期
28
28
日志系统高可用
多副本
故障转移
灾备
一致性
29
29
系统性能测试
压测工具
吞吐量
延迟
资源分析
30
30
综合实战：企业级平台
方案选型
架构设计
运维最佳实践