多通道并发调度策略实战
📚 共计 30 章节
01
并发调度概述
多通道并发调度的定义、应用场景（电商秒杀、消息推送、日志采集）、核心挑战（资源竞争、死锁、饥饿）。
定义
场景
挑战
02
操作系统调度基础
进程与线程的区别、上下文切换开销、CPU调度算法（FCFS、SJF、RR）回顾。
进程线程
上下文
调度算法
03
Python并发基石
GIL锁的真相、多线程 vs 多进程的选择、协程的引入。
GIL
多线程
协程
04
多通道模型设计
通道（Channel）的概念、生产者-消费者模式、扇入/扇出模型。
Channel
生产者-消费者
扇入扇出
05
同步原语实战
Lock、RLock、Semaphore、Event、Condition 的适用场景与代码示例。
锁
信号量
条件变量
06
队列调度策略
queue.Queue 的 FIFO/LIFO/Priority 模式、阻塞与非阻塞操作。
FIFO
LIFO
优先级
07
线程池与进程池
ThreadPoolExecutor 与 ProcessPoolExecutor 的 submit/map 方法、最大并发数控制。
线程池
进程池
并发控制
08
异步IO与事件循环
asyncio 库的核心概念（coroutine、task、future）、事件循环的调度机制。
asyncio
事件循环
协程
09
协程调度器实现
手动实现一个简单的协程调度器、yield 与 send 的底层原理。
yield
send
调度器
10
多通道数据分发
基于 Redis 的发布订阅模式、Kafka 分区消费模型。
Redis
Kafka
发布订阅
11
负载均衡策略
轮询、加权轮询、最少连接、一致性哈希在调度中的应用。
轮询
一致性哈希
负载均衡
12
优先级调度
静态优先级与动态优先级、优先级反转问题及解决方案。
优先级
反转
调度
13
时间片轮转调度
时间片大小的选择、上下文切换的权衡、公平性保障。
时间片
上下文切换
公平
14
多级反馈队列
MLFQ 的原理、优先级提升机制、在操作系统与框架中的应用。
MLFQ
优先级提升
反馈
15
工作窃取算法
Work-Stealing 的原理、Go 调度器与 Java ForkJoinPool 的借鉴。
Work-Stealing
Go
ForkJoinPool
16
无锁并发编程
CAS 操作、原子变量、ABA 问题、Python 中的 atomic 库。
CAS
原子变量
ABA
17
分布式调度框架
Celery 的任务队列与 Worker 调度、Airflow 的 DAG 调度。
Celery
Airflow
DAG
18
资源隔离与限流
信号量限流、令牌桶算法、漏桶算法、Hystrix 熔断思想。
限流
令牌桶
熔断
19
死锁检测与恢复
银行家算法、死锁检测工具、超时与重试机制。
银行家算法
死锁
超时重试
20
调度性能监控
Prometheus + Grafana 监控调度延迟、吞吐量、队列长度。
Prometheus
Grafana
监控
21
实战：多通道日志采集
多生产者多消费者模型、异步写入磁盘。
日志采集
生产者-消费者
异步
22
实战：电商秒杀系统
请求排队、库存扣减、异步下单。
秒杀
库存
异步
23
实战：实时消息推送
WebSocket 长连接管理、消息优先级分发。
WebSocket
推送
优先级
24
实战：分布式爬虫调度
URL 去重、请求调度、结果汇聚。
爬虫
去重
调度
25
调度策略调优
压力测试方法、性能瓶颈定位、参数调优（线程数、队列大小、超时时间）。
压测
调优
参数
26
调度框架对比
Python 原生 vs Celery vs Dramatiq vs RQ 的优缺点与选型。
Celery
Dramatiq
RQ
27
调度中的错误处理
重试策略（指数退避）、死信队列、降级与熔断。
重试
死信
降级
28
调度安全与权限
任务认证、数据隔离、沙箱执行。
安全
隔离
沙箱
29
未来趋势
eBPF 调度、Serverless 调度、AI 驱动的智能调度。
eBPF
Serverless
AI调度
30
课程总结与项目实战
综合项目——构建一个高可用多通道调度平台，涵盖设计、编码、测试、部署。
综合项目
高可用
部署