社交媒体情绪数据抓取全流程实战

📚 共计 30 章节

社交媒体情绪分析概述

什么是情绪分析 · 应用场景（舆情监控、品牌管理、市场调研）· 课程目标与学习路径

数据抓取法律与伦理

Robots协议 · 数据隐私法规（GDPR、个人信息保护法）· 合规抓取原则

环境搭建与工具准备

Python环境配置 · 虚拟环境创建 · 必备库安装 (requests, BeautifulSoup, Selenium, Tweepy等)

HTTP协议与网页基础

请求与响应 · 状态码 · HTML/CSS/JavaScript基础 · 开发者工具使用

静态网页抓取实战（一）

使用requests库发送GET请求 · 处理响应内容 · 设置请求头与User-Agent

静态网页抓取实战（二）

BeautifulSoup解析HTML · 查找元素 (find/find_all) · 提取文本与属性

解析BeautifulSoup

数据清洗与预处理

处理缺失值 · 去除HTML标签 · 文本规范化 · 正则表达式入门

动态网页抓取入门

认识AJAX与异步加载 · 分析XHR请求 · 使用requests模拟API调用

Selenium自动化抓取（一）

Selenium安装与配置 · WebDriver使用 · 元素定位与交互

自动化Selenium

Selenium自动化抓取（二）

处理等待（显式/隐式）· 处理弹窗与Cookie · 页面滚动与截图

社交媒体平台分析

主流平台（微博、Twitter、Reddit）数据结构对比 · API限制与反爬策略

微博数据抓取实战

模拟登录 · 获取用户时间线 · 解析微博JSON数据 · 处理分页

Twitter数据抓取实战

Tweepy库使用 · 搜索推文 · 获取用户信息 · 流式API监听

Reddit数据抓取实战

PRAW库使用 · 获取热门帖子 · 评论爬取 · Subreddit分析

数据存储方案

CSV/Excel存储 · SQLite数据库 · MongoDB文档存储 · 数据持久化最佳实践

存储数据库

文本预处理进阶

分词技术 (jieba/NLTK) · 停用词过滤 · 词干提取与词形还原

情绪分析基础

基于词典的方法（情感词典构建、极性计算）· 优缺点分析

机器学习情绪分析（一）

特征工程 (TF-IDF、词袋模型) · 数据集划分 · 朴素贝叶斯分类器

机器学习情绪分析（二）

支持向量机 (SVM) · 逻辑回归 · 模型评估（准确率、召回率、F1分数）

深度学习情绪分析入门

RNN与LSTM原理 · 使用Keras构建简单情感分类模型

深度学习LSTM

预训练模型应用

BERT与Transformers库介绍 · 使用预训练模型进行零样本情绪分类

BERTTransformers

情绪可视化基础

Matplotlib与Seaborn基础 · 绘制情绪分布图 · 时间序列趋势图

可视化Matplotlib

词云与情感雷达图

WordCloud库使用 · 生成词云 · 雷达图展示多维情绪

词云雷达图

实时数据流处理

WebSocket监听实时数据 · Kafka/RabbitMQ入门 · 流式情绪分析架构

反爬虫策略与应对

IP封禁处理 · 代理池搭建 · 请求频率控制 · 验证码识别基础

大规模抓取优化

异步IO (asyncio/aiohttp) · 分布式爬虫框架 (Scrapy) · 任务队列 (Celery)

优化分布式

数据质量控制

重复数据检测 · 异常值处理 · 标注一致性检查 · 人工校验流程

项目实战（一）

搭建完整抓取流水线 —— 从微博抓取指定话题数据并存储

项目实战（二）

构建情绪分析仪表盘 —— 使用Flask/Dash展示实时情绪分析结果

课程总结与进阶方向

常见问题复盘 · 学习资源推荐 · 从数据抓取到数据产品的完整链路