量化系统日志采集与监控体系

📚 共计 30 章节
01
量化日志体系概述
日志的价值、分类(交易/系统/风控)、日志级别定义
基础概念
02
Python日志模块基础
logging核心组件:Logger、Handler、Formatter、Filter
Pythonlogging
03
日志格式设计
结构化 vs 非结构化、JSON格式、时间戳与时区
设计JSON
04
日志文件管理
滚动策略(大小/时间)、命名规范、压缩归档
运维文件
05
日志采集架构
Agent vs 无Agent、拓扑设计、性能考量
架构采集
06
Filebeat入门
安装配置、多文件采集、multiline合并
Filebeat采集
07
Logstash数据管道
Input/Filter/Output、Grok解析、清洗转换
LogstashETL
08
Kafka日志总线
Topic设计、分区策略、消息可靠性保证
Kafka消息
09
Elasticsearch存储
索引设计、Mapping优化、分片与ILM
ES存储
10
Kibana可视化
搜索过滤、Dashboard、告警规则配置
Kibana可视化
11
ELK Stack实战
完整链路搭建、性能调优经验
ELK实战
12
日志采集高可用
采集容错、传输可靠性、存储冗余
高可用容错
13
日志监控指标体系
延迟、吞吐量、错误率、存储使用率
监控指标
14
Prometheus监控
采集器指标暴露、Prometheus配置、Grafana看板
PrometheusGrafana
15
告警规则设计
基于内容/阈值告警、分级与通知策略
告警通知
16
交易日志专项
订单生命周期、成交回报、行情数据采集监控
交易专项
17
风控日志专项
规则触发、资金变动、异常行为日志
风控合规
18
系统日志专项
服务器资源、网络连接、数据库慢查询
系统运维
19
日志链路追踪
TraceID生成与传递、跨服务关联、调用链可视化
链路Trace
20
日志安全与合规
敏感脱敏、访问控制、审计保留策略
安全合规
21
日志存储成本优化
冷热分层、索引压缩、数据采样
成本优化
22
日志查询优化
ES查询语法、索引模板、查询缓存
查询ES
23
日志清洗与标准化
字段映射、类型转换、缺失/异常值处理
清洗标准化
24
日志自动化运维
配置中心、自动扩缩容、健康检查自愈
自动化运维
25
日志系统容量规划
日志量预估、存储计算、带宽与IOPS
容量规划
26
日志系统故障排查
丢失、延迟、格式错误排查方法论
故障排查
27
日志系统性能压测
压测工具、场景设计、瓶颈分析
压测性能
28
日志系统灾备设计
跨机房同步、主备切换、数据恢复演练
灾备高可用
29
日志系统演进
单机→分布式、ELK→ClickHouse、被动→主动
演进趋势
30
量化日志系统实战案例
从0到1建设过程与经验总结
案例实战