量化中台任务调度与监控系统实战

📚 共计 30 章节
01
量化中台概述
什么是量化中台、核心功能模块、技术栈选型(Python/Go/Redis/PostgreSQL)
中台技术栈
02
任务调度核心概念
任务(Task)、工作流(Workflow)、调度器(Scheduler)、执行器(Executor)
核心调度
03
调度器架构设计
中心化调度 vs 去中心化调度、时间轮算法、优先级队列
架构时间轮
04
任务依赖与DAG
有向无环图(DAG)原理、依赖解析、拓扑排序实现
DAG拓扑排序
05
任务状态机设计
任务生命周期(Pending→Running→Success/Failed)、状态流转与持久化
状态机持久化
06
分布式锁与任务抢占
Redis分布式锁实现、Redlock算法、避免死锁与重入
分布式锁Redlock
07
任务队列与消息中间件
RabbitMQ vs Redis Streams、消息确认机制、死信队列
消息队列死信
08
定时任务与Cron表达式
Cron表达式解析、Quartz-like调度、动态定时任务注册
Cron定时
09
任务重试与补偿机制
指数退避重试、最大重试次数、手动补偿接口设计
重试补偿
10
任务超时控制
超时检测策略、线程池Future超时、异步任务超时回调
超时Future
11
任务分片与并行执行
数据分片策略、MapReduce思想在调度中的应用、并行度控制
分片MapReduce
12
监控系统设计
监控指标(延迟、吞吐量、成功率)、Prometheus + Grafana 集成
监控Prometheus
13
日志采集与链路追踪
ELK Stack、OpenTelemetry、Trace ID 透传
日志链路追踪
14
告警系统设计
阈值告警、告警级别、通知渠道(钉钉/邮件/短信)
告警通知
15
任务执行日志管理
日志分级、日志滚动、日志检索接口
日志管理滚动
16
调度系统高可用设计
主从切换、哨兵模式、多副本调度器
高可用哨兵
17
任务编排与可视化
前端DAG拖拽设计、节点配置、边线逻辑
可视化DAG
18
API网关与权限控制
JWT鉴权、RBAC模型、API限流
网关RBAC
19
数据库设计
任务表、调度记录表、日志表、告警规则表(ER图)
数据库ER
20
任务插件化开发
插件接口定义、热加载机制、版本管理
插件热加载
21
性能压测与优化
调度吞吐量压测、数据库连接池优化、缓存策略
压测优化
22
灰度发布与回滚
任务版本控制、灰度策略、一键回滚
灰度回滚
23
资源配额管理
CPU/内存限制、cgroup隔离、任务资源预估
资源cgroup
24
任务血缘与数据溯源
输入输出追踪、血缘图构建、影响分析
血缘溯源
25
调度系统安全
SQL注入防护、XSS过滤、敏感信息加密
安全加密
26
多租户支持
租户隔离、资源池划分、计费计量
多租户隔离
27
任务编排引擎
Airflow vs DolphinScheduler vs 自研引擎对比
引擎对比
28
实时流任务调度
Flink/Spark Streaming集成、Checkpoint管理
实时流Checkpoint
29
调度系统运维
健康检查、指标大盘、故障自愈
运维自愈
30
项目实战
搭建一个简易量化中台调度系统(含前端展示与后端API)
实战全栈