01
CMS数据采集概述
什么是CMS数据采集 · 典型场景（新闻聚合、电商监控、舆情分析） · 采集流程总览
概述流程
02
HTTP请求基础
Requests库 · GET/POST · Headers与User-Agent · Cookies与Session
网络请求
03
HTML解析入门
BeautifulSoup · find/find_all · 提取文本与属性 · 实战：新闻标题列表
解析BeautifulSoup
04
XPath与lxml
XPath语法 · lxml库 · 轴与谓词 · 实战：商品价格与评论数
XPathlxml
05
正则表达式辅助
re模块 · 常用模式（数字、邮箱、URL） · 提取JSON/清洗文本
正则清洗
06
动态页面采集
AJAX与API · 抓包工具 · 模拟API请求 · 实战：微博热搜榜
动态API
07
Selenium自动化
安装配置 · 元素定位 · 显式/隐式等待 · 实战：登录后采集
自动化Selenium
08
Scrapy框架入门
Scrapy架构 · Spider · Item与Pipeline · 实战：整站文章
框架Scrapy
09
数据清洗基础
Pandas入门 · 缺失值 · 去重与类型转换 · 实战：清洗CSV
清洗Pandas
10
文本预处理
jieba分词 · 停用词过滤 · 词频统计 · 实战：生成词云图
NLP词云
11
数据去重策略
哈希去重 · 布隆过滤器 · SimHash · 实战：新闻去重系统
去重算法
12
数据存储方案
MySQL · MongoDB · CSV/Excel导出 · 设计采集存储表
存储数据库
13
反爬虫应对策略
IP封禁 · 验证码 · 动态Token · 代理IP池 · 频率控制
反爬代理
14
验证码处理
OCR识别(Tesseract) · 打码平台 · 滑块模拟 · 实战：数字验证码
验证码OCR
15
分布式采集基础
Redis队列 · Scrapy-Redis · 分布式调度 · 多机协同
分布式Redis
16
数据质量监控
完整性检查 · 异常值检测(3σ) · 一致性校验 · 监控看板
质量监控
17
增量采集与更新
时间戳增量 · 基于ID增量 · 断点续爬 · 每日增量更新
增量更新
18
数据格式化与标准化
日期统一 · 货币转换 · 地址标准化 · 实战：清洗电商数据
标准化格式化
19
数据关联与融合
多源匹配(ID映射) · 实体对齐 · 数据合并 · 融合多平台商品
融合关联
20
数据脱敏与安全
敏感信息识别(身份证/手机) · 掩码替换 · 合规存储 · 脱敏实战
脱敏安全
21
数据压缩与归档
gzip/bz2压缩 · Tar归档 · 分卷存储 · 压缩历史数据
压缩归档
22
数据可视化基础
Matplotlib · 折线/柱状/饼图 · Seaborn美化 · 展示采集趋势
可视化Matplotlib
23
数据导出与API
RESTful API · Flask数据接口 · JSON/XML导出 · 查询接口
APIFlask
24
日志与监控
Logging配置 · 日志分级 · 异常告警(邮件/钉钉) · 任务日志系统
日志告警
25
性能优化
异步请求(aiohttp) · 连接池复用 · 批量写入 · 提速采集
性能异步
26
规则引擎设计
可配置采集规则 · YAML/JSON规则 · 动态解析器 · 通用采集器
规则引擎配置
27
数据版本管理
Git LFS · 数据快照 · 回滚机制 · 管理采集数据版本
版本Git
28
合规与法律
Robots协议 · 数据使用边界 · GDPR · 合规采集声明
合规法律
29
综合实战（上）
需求分析 · 架构设计 · 采集模块实现 · 清洗模块实现
实战综合
30
综合实战（下）
存储模块 · 监控模块 · 部署运维 · 课程总结
实战总结