🕵️
📘
无头浏览器自动化
与数据采集
🎯 30 章 · 从入门到实战 · 2025 版
📅
更新 2025
⚡
30
章节
🧩
Puppeteer · Playwright · Selenium
📂
30 个 HTML 文件
🧠
3 大框架
🚀
综合实战
🎨
风格
1
无头浏览器概述
概念
什么是无头浏览器 · 与传统浏览器对比 · Puppeteer / Playwright / Selenium 介绍
→
2
环境搭建
配置
Node.js & Python 环境 · Puppeteer / Playwright 安装验证 · Selenium WebDriver 配置
→
3
Puppeteer 基础
核心
启动浏览器 · 打开页面 · 导航与等待 · 截图 & PDF 生成
→
4
Puppeteer 页面交互
操作
元素定位 (CSS/XPath) · 点击输入 · 表单 · 下拉框与复选框
→
5
Puppeteer 等待策略
同步
显式/隐式等待 · 等待元素 · 网络空闲 · 自定义条件
→
6
Puppeteer 网络请求拦截
高级
请求拦截修改 · 响应提取 · 模拟网络环境 · 拦截广告
→
7
Puppeteer JavaScript 执行
脚本
页面内执行 JS · 获取变量 · 注入脚本 · 异步处理
→
8
Puppeteer Cookie 与存储
数据
Cookie 获取/设置 · LocalStorage/SessionStorage · 清除数据
→
9
Puppeteer 多页面与多标签页
管理
打开/切换/关闭标签页 · 多页面数据共享
→
10
Puppeteer 表单自动填写
自动化
自动登录 · 复杂表单 · 验证码思路 · 滑块模拟
→
11
Puppeteer 数据提取实战
采集
提取文本/属性/表格/图片链接 · 结构化输出
→
12
Puppeteer 分页与滚动加载
动态
分页列表 · 模拟滚动 · 无限滚动 · 动态内容等待
→
13
Puppeteer 文件下载
下载
触发下载 · 设置路径 · 监听事件 · 文件处理
→
14
Playwright 基础
框架
架构介绍 · 启动 Chromium/Firefox/WebKit · 自动等待
→
15
Playwright 定位器
Locator
Locator API · 文本/CSS/XPath/链式定位
→
16
Playwright 断言与测试
验证
expect 断言 · 页面/元素状态 · 截图对比
→
17
Playwright 网络 Mock
模拟
API Mock · 修改请求响应 · 模拟后端错误 · 离线模式
→
18
Playwright 移动端模拟
设备
模拟移动设备 · 触摸/地理位置/传感器
→
19
Playwright 浏览器上下文
隔离
多上下文隔离 · 持久化 · 权限管理 · 代理设置
→
20
Selenium WebDriver 基础
经典
WebDriver 架构 · 启动浏览器 · 元素定位八法 · 浏览器操作
→
21
Selenium 等待与页面加载
同步
WebDriverWait · expected_conditions · 加载策略 · 超时
→
22
Selenium 高级交互
动作
ActionChains · 鼠标/键盘/拖拽 · 弹出框处理
→
23
Selenium 多窗口与 Frame
结构
窗口句柄 · iframe 切换 · 嵌套/跨域 Frame
→
24
Selenium 数据采集实战
项目
动态渲染页面 · 登录采集 · 分页 · 无限滚动
→
25
反爬虫与绕过策略
对抗
IP限制/UA检测/行为分析 · 指纹伪装 · 代理轮换 · 请求头伪装
→
26
验证码识别与处理
破解
图形验证码 OCR · 滑块模拟 · 点选思路 · 打码平台
→
27
数据存储与导出
持久化
CSV/JSON · MySQL/MongoDB · 数据清洗与去重
→
28
任务调度与自动化
定时
cron/schedule · Celery · 分布式架构 · 异常重试
→
29
性能优化与调试
调优
无头模式优化 · 并发控制 · 资源释放 · 日志调试
→
30
综合实战项目
完结
电商采集 · 社交媒体 · 新闻聚合 · 数据可视化
→
📚 无头浏览器自动化 · 30 章完整目录