开源舆情数据获取与自动化分析实战
📚 共计 30 章节
01
舆情分析概述
什么是舆情分析 · 应用场景 · 开源工具生态 (Scrapy/Pandas/NLP)
基础
全景
02
环境搭建与工具链
Python虚拟环境 · Scrapy安装 · MongoDB/Redis · Jupyter
配置
工具
03
网络爬虫基础
HTTP协议 · Requests · BeautifulSoup · XPath/CSS
爬虫
解析
04
Scrapy框架入门
架构解析 · 创建项目 · Spider编写 · Item Pipeline
框架
核心
05
动态页面抓取
Selenium · JavaScript渲染 · 等待策略 · 反爬绕过
动态
高级
06
数据清洗与预处理
Pandas基础 · 缺失值 · 去重 · 分词/去停用词
清洗
Pandas
07
舆情数据存储
CSV/Excel · MongoDB · MySQL · Redis缓存队列
存储
数据库
08
文本情感分析
情感基础 · 词典(SnowNLP) · 朴素贝叶斯
NLP
情感
09
关键词提取与词云
TF-IDF · TextRank · jieba分词 · WordCloud
关键词
可视化
10
舆情热点发现
LDA主题模型 · 滑动窗口 · 时间序列趋势
热点
算法
11
数据可视化基础
Matplotlib · Seaborn · Plotly · 动态仪表盘
图表
交互
12
自动化报告生成
Jinja2 · HTML报告 · PDF导出 · APScheduler
报告
自动化
13
舆情监控系统架构
整体架构 · 采集层 · 处理层 · 展示层
架构
设计
14
分布式爬虫部署
Scrapy-Redis · Scrapyd · Docker · Kubernetes
分布式
容器
15
API数据获取
社交媒体API · NewsAPI · RSS · 限流与认证
API
数据源
16
舆情数据质量评估
完整性 · 一致性 · 异常检测(3σ/IQR) · 质量报告
质量
校验
17
用户画像构建
行为分析 · 标签体系 · 兴趣建模 · 影响力评估
画像
用户
18
事件脉络分析
演化路径 · 关键节点 · 传播追踪 · 影响力扩散
事件
传播
19
舆情预警机制
阈值设定 · 多维策略 · 告警通知(邮件/钉钉/微信) · 日志
预警
通知
20
多语言舆情处理
语言检测 · HanLP分词 · 跨语言情感 · 翻译API
多语言
NLP
21
舆情数据合规与伦理
GDPR · Robots协议 · 数据脱敏 · 合规清单
合规
伦理
22
性能优化与缓存
Twisted并发 · 索引优化 · Redis缓存 · Celery异步
性能
缓存
23
舆情报告模板设计
结构设计 · 图表布局 · 自动排版 · 多维度分析
模板
设计
24
竞品舆情分析
竞品采集 · 对比分析 · 口碑趋势 · 事件响应
竞品
分析
25
舆情数据API服务
Flask RESTful · Swagger文档 · 认证限流 · 监控日志
API
后端
26
舆情数据仓库建设
ODS/DWD/DWS/ADS · ETL · 数据血缘 · 质量监控
数仓
ETL
27
深度学习舆情分析
BERT情感 · TextCNN · LSTM · 预训练微调
深度学习
NLP
28
舆情数据可视化大屏
大屏设计 · ECharts · WebSocket · 交互设计
大屏
可视化
29
舆情系统测试与部署
pytest · 集成测试 · Locust · GitLab CI/CD
测试
部署
30
综合实战项目
从零搭建舆情系统 · 需求/设计/编码/部署运维
实战
全栈