日志监控可视化仪表盘搭建全流程

📚 共计 30 章节
01
课程导学与项目全景
日志监控的意义、可视化仪表盘的价值、课程目标与最终效果展示。
导学全景
02
环境准备与工具链
Python环境搭建、pip换源、虚拟环境管理、Git版本控制基础。
PythonGit
03
日志基础与Python日志模块
logging模块详解、日志级别、Handler与Formatter、配置文件化。
logging配置
04
日志采集实战
文件日志读取、实时日志监控(tail -f模拟)、日志轮转处理。
采集轮转
05
日志解析与结构化
正则表达式提取字段、JSON日志解析、自定义解析器设计。
正则解析
06
数据存储选型
Elasticsearch vs InfluxDB vs SQLite,时序数据库概念,数据模型设计。
存储选型
07
Elasticsearch入门
ES安装与启动、索引与映射、REST API操作、Python客户端。
ESREST
08
数据写入ES
批量写入优化、索引生命周期管理、数据清洗与预处理。
写入优化
09
数据查询与聚合
ES查询DSL、聚合分析(terms、date_histogram)、Python封装查询。
DSL聚合
10
Flask Web框架速通
路由与视图、请求与响应、模板渲染、RESTful API设计。
FlaskAPI
11
构建日志查询API
ES查询接口封装、分页与过滤、错误处理与日志记录。
API分页
12
前端技术选型
ECharts vs Chart.js vs D3.js,选择ECharts的理由,CDN引入。
ECharts选型
13
ECharts基础
图表容器、option配置、常用图表(折线图、柱状图、饼图)、事件交互。
图表配置
14
仪表盘布局设计
栅格系统概念、Flex布局、响应式设计、卡片式布局。
布局响应式
15
实时数据推送
WebSocket原理、Flask-SocketIO集成、前端实时更新。
WebSocket实时
16
日志趋势图实现
时间序列折线图、时间范围选择器、数据下钻。
趋势下钻
17
错误日志分布图
饼图与环形图、按级别/模块聚合、交互式筛选。
饼图筛选
18
TOP N 错误排行
柱状图展示、排序与截断、点击跳转详情。
排行柱状图
19
日志详情页
表格展示、搜索与过滤、分页组件、高亮关键词。
详情分页
20
仪表盘主题与样式
暗黑模式、自定义配色、CSS变量、字体图标。
主题CSS
21
多数据源接入
多日志文件、多服务器日志、Kafka消息队列接入。
多源Kafka
22
告警规则引擎
阈值告警、频率告警、告警级别、告警通知(邮件/钉钉/微信)。
告警通知
23
告警历史与统计
告警记录存储、告警趋势分析、告警沉默机制。
历史统计
24
用户认证与权限
Flask-Login集成、角色权限控制、API鉴权(JWT)。
认证JWT
25
仪表盘导出与分享
截图导出(html2canvas)、PDF生成、分享链接。
导出分享
26
性能优化
前端懒加载、数据缓存(Redis)、ES查询优化、Gunicorn部署。
优化Redis
27
Docker容器化部署
Dockerfile编写、docker-compose编排、环境变量管理。
Docker部署
28
CI/CD流水线
GitHub Actions自动化测试、构建镜像、部署到服务器。
CI/CDActions
29
监控与运维
Prometheus + Grafana监控仪表盘自身、日志审计、备份策略。
监控运维
30
课程总结与项目复盘
完整项目架构回顾、常见问题与解决方案、扩展方向与学习路径。
总结复盘