自动化表单填写与数据提取实战

1

自动化表单基础

什么是自动化表单填写、应用场景分析、技术选型对比 (Selenium vs Playwright vs Puppeteer)

2

环境搭建与工具安装

Python环境配置、Selenium安装、浏览器驱动下载 (ChromeDriver/GeckoDriver)、Playwright安装

3

HTML表单核心元素

<form>标签、<input>类型 (text/password/checkbox/radio/select)、<label>与<button>、提交机制

4

定位元素基础

ID定位、Name定位、Class Name定位、Tag Name定位、Link Text与Partial Link Text

5

XPath定位详解

绝对/相对路径、XPath轴、常用函数 (contains/text()/starts-with)、实战案例

6

CSS选择器定位

ID选择器、Class选择器、属性选择器、伪类选择器、组合选择器

7

等待机制

强制等待、隐式等待、显式等待 (WebDriverWait)、最佳实践

8

表单填写实战

文本输入 (send_keys)、复选框/单选框、下拉列表 (Select)、文件上传

9

表单提交与验证

点击提交、等待跳转、验证结果 (URL/成功提示)、异常处理

10

多表单与嵌套表单

同一页面多表单、iframe内表单定位切换、动态加载表单

11

JavaScript操作表单

execute_script执行JS、修改元素属性、触发事件、绕过检测

12

验证码处理

图形验证码OCR、滑块模拟 (轨迹算法)、短信验证码思路、第三方打码平台

13

反爬虫与反检测

User-Agent伪装、浏览器指纹规避、代理IP、请求频率控制

14

数据提取基础

页面源码 (page_source)、正则表达式、BeautifulSoup、lxml解析器

15

XPath数据提取

提取文本 text()、提取属性 @href/@src、提取表格/列表数据

16

CSS选择器数据提取

select方法、提取多个元素、属性与文本、与BeautifulSoup结合

17

表格数据提取

HTML表格结构解析、逐行逐列、合并单元格、导出CSV/Excel

18

列表与分页数据提取

列表页定位、翻页逻辑 (循环/URL参数)、数据去重合并

19

动态加载数据提取

Ajax分析 (Network)、抓包JSON接口、模拟API、渲染后提取

20

Playwright基础

架构介绍、同步/异步API、Browser Context、Page对象详解

21

Playwright表单填写

fill与type方法、locator API、selectOption、文件上传下载

22

Playwright数据提取

textContent/innerText、getAttribute、evaluate、wait_for_selector

23

Playwright高级特性

网络拦截 (route)、Mock API、截图录屏、PDF生成、移动端模拟

24

Puppeteer基础 (Python版)

pyppeteer安装使用、浏览器启动、常用API、与Selenium对比

25

大规模表单自动化

多线程/异步并发 (asyncio)、任务队列、断点续填、日志监控

26

数据清洗与存储

Pandas清洗 (去重/填充)、存储MySQL/PostgreSQL、MongoDB、CSV/Excel

27

异常处理与调试

常见异常、try-except、logging模块、截图保存调试

28

项目实战一：自动注册系统

需求分析、架构设计、多平台注册、验证码处理、结果报告

29

项目实战二：数据采集系统

目标分析、爬虫框架、反爬应对、数据存储可视化、定时调度

30

项目总结与进阶

课程回顾、FAQ、性能优化、扩展学习 (Headless/分布式/云服务)

自动化表单·实战目录