浏览器自动化 & 反爬攻略

📚 30章完整版

浏览器自动化概述

什么是浏览器自动化Selenium vs Playwright vs Puppeteer适用场景分析

Selenium 环境搭建

安装 SeleniumWebDriver 配置浏览器驱动下载第一个自动化脚本

元素定位基础

ID / Name / Class NameTag Name / Link TextPartial Link Text

元素定位进阶

XPath 语法详解CSS Selector 实战相对路径与绝对路径

强制等待 / 隐式等待显式等待Expected Conditions自定义等待条件

浏览器操作

窗口管理 / 标签页切换Cookie 操作LocalStorage浏览器配置项

表单与交互

输入框 / 下拉框单选/复选框文件上传 / 弹窗处理

JavaScript 执行

execute_script 用法滚动操作 / 元素高亮修改 DOM 属性绕过检测

鼠标与键盘事件

ActionChains 详解拖拽 / 悬停菜单组合键 / 右键菜单

Playwright 入门

安装与配置同步与异步 API浏览器上下文自动等待机制

Playwright 进阶

网络拦截 / Mock 接口修改请求/响应性能监控Trace Viewer 调试

Puppeteer 实战

Puppeteer 安装无头模式 / 页面截图PDF 生成性能优化技巧

常见反爬手段概述User-Agent 检测IP 频率限制请求头校验 / 行为分析

User-Agent 与指纹

随机 UA 池设备指纹原理Canvas / WebGL / AudioContext 指纹

IP 代理策略

代理池搭建HTTP/HTTPS/SOCKS5代理验证 / 轮换策略高匿代理

请求头伪装

Referer / OriginAccept-LanguageSec-Fetch 系列头完整请求头模拟

Cookie 与 Session

Cookie 持久化Session 维持登录态保持Cookie 池管理

验证码识别

图形验证码 / 滑块验证码点选验证码OCR 识别第三方打码平台

WebDriver 检测与绕过

navigator.webdriverChrome DevTools ProtocolCDP 注入undetected-chromedriver

随机延迟 / 鼠标轨迹滚动模式 / 点击模式人类行为特征建模

分布式爬虫架构

任务队列 / Worker 管理去重策略 / 结果收集Scrapy-Redis 集成

浏览器指纹对抗

指纹随机化 / 指纹池Canvas 噪声注入WebGL 参数修改字体指纹混淆

请求频率控制

限流算法 (令牌桶/漏桶)自适应延迟并发控制反检测时间窗口

日志与监控

日志记录策略异常捕获 / 告警机制数据可视化性能指标采集

数据解析与存储

HTML 解析 (BeautifulSoup/lxml)JSON 处理MongoDB / MySQL / 文件存储

大规模数据采集

分页处理 / 增量采集断点续爬 / 去重机制数据一致性保障

反爬实战案例一

电商平台商品信息采集动态加载 / 参数加密频率限制

反爬实战案例二

社交媒体数据采集登录验证 / 行为分析内容加密

反爬实战案例三

搜索引擎结果采集IP 封锁 / 验证码动态 User-Agent

总结与进阶

反爬与反反爬的博弈法律合规 / 未来趋势学习资源推荐