📚 数据采集与清洗实战
30章 · 从零到系统
⭐
风格 · 趣味进阶
01
搜索引擎概述
工作原理
爬虫与反爬虫
伦理与法律
02
HTTP协议基础
请求与响应
状态码
Cookie与Session
03
Python网络请求库
urllib
requests
超时与重试
04
HTML解析基础
HTML结构
XPath语法
lxml库
05
CSS选择器与BeautifulSoup
CSS选择器
BeautifulSoup4
find/find_all
06
正则表达式入门
元字符
量词/分组
re模块
07
动态页面与Ajax
Ajax原理
抓包分析
模拟请求
08
Selenium自动化
安装配置
元素定位
页面交互
09
Scrapy框架入门
Scrapy架构
创建项目
编写Spider
10
Scrapy中间件
Downloader中间件
Spider中间件
代理IP池
11
数据存储
CSV/JSON
MySQL
存储实践
12
数据清洗概述
数据质量维度
脏数据分类
清洗流程
13
缺失值处理
缺失值检测
删除法
填充法(均值/中位数)
14
重复值处理
重复检测
去重策略
关键字去重
15
异常值检测
3σ原则
箱线图法
IQR方法
16
文本数据清洗
HTML标签去除
特殊字符处理
统一大小写
17
中文分词技术
jieba分词
自定义词典
词性标注
18
停用词过滤
停用词表构建
过滤策略
常见问题
19
数据标准化
数值归一化
Min-Max缩放
Z-score标准化
20
数据脱敏
敏感信息识别
脱敏规则
匿名化处理
21
数据集成
多源数据合并
字段映射
冲突解决
22
数据变换
类型转换
离散化
One-Hot编码
23
时间序列处理
时间格式解析
时间戳转换
重采样
24
Pandas高级操作
groupby聚合
merge合并
pivot_table透视
25
数据质量监控
质量指标定义
自动化检查
告警机制
26
爬虫反封策略
User-Agent轮换
IP代理池
请求频率控制
27
验证码处理
图形验证码
滑块验证码
打码平台
28
分布式爬虫
Scrapy-Redis
任务队列
去重机制
29
数据管道构建
ETL流程设计
Airflow入门
任务调度
30
综合实战
完整采集系统
数据清洗流水线
搜索引擎闭环