📚 从零搭建数据采集系统
30章 · 完整目录
01
课程导论与系统架构设计
采集层·传输层·存储层·应用层
02
Python基础回顾与环境搭建
venv/conda · requests · pymysql
03
数据源分析与接口设计
RESTful · JSON/XML · Swagger
04
HTTP协议与网络请求实战
GET/POST · Session · requests库
05
API数据采集实战（上）
分页·重试·频率限制
06
API数据采集实战（下）
OAuth2 · 并发 · APScheduler
07
数据库数据采集（上）
pymysql · 批量插入 · 事务
08
数据库数据采集（下）
MongoDB · 聚合 · 增量采集
09
Web页面数据采集（上）
XPath · BeautifulSoup · CSS选择器
10
Web页面数据采集（下）
Selenium · 反爬虫 · 动态页面
11
文件数据采集
CSV/Excel/PDF · 大文件分片
12
数据清洗与预处理（上）
缺失值·异常值·重复数据
13
数据清洗与预处理（下）
正则·pandas·标准化
14
消息队列与数据缓冲
Kafka · Producer/Consumer
15
Redis缓存与数据暂存
布隆过滤器 · 缓存策略
16
数据存储层设计
MySQL·MongoDB·ClickHouse
17
数据仓库与数据湖
ETL · 星型模型 · Hudi/Iceberg
18
数据采集框架Scrapy入门
Spider · Pipeline · 架构
19
Scrapy高级应用
中间件 · 分布式 · 增量爬取
20
采集系统监控与告警
状态监控 · 钉钉/企微 · ELK
21
采集系统性能优化
并发 · 连接池 · 批量写入
22
数据安全与合规
脱敏 · 加密 · GDPR
23
数据采集系统测试
单元/集成/性能 · pytest
24
数据采集系统部署
Docker · CI/CD · 配置中心
25
数据采集系统运维
Consul · Nginx · 灰度发布
26
实时数据采集与流处理
Flink · Kafka Streams · Faust
27
案例实战（一）电商商品采集
API+Web · Elasticsearch
28
案例实战（二）社交媒体舆情
微博/推特 · 情感分析 · Grafana
29
案例实战（三）IoT传感器采集
MQTT · InfluxDB · 实时告警
30
课程总结与进阶方向
项目复盘 · 学习路径 · 开源推荐