一、舆情分析概述

大家好，我是这门课的主讲人。今天咱们聊聊舆情分析到底是个什么东西。

说白了，舆情分析就是「读懂人心」的技术活儿。你想想看，每天微博、知乎、抖音上几亿条发言，有人在吐槽、有人在夸赞、有人在求助。这些零散的信息背后，藏着大众的真实情绪和态度。舆情分析要做的，就是把这些碎片拼成一幅完整的图景。

我记得刚入行那会儿，有个客户问我：「你们搞舆情分析的，是不是就是看评论？」我当时笑了笑，没直接回答。其实远没那么简单。

1.1 什么是舆情分析

舆情分析，本质上是一个从海量文本中提取公众态度和情绪的过程。它结合了数据采集、自然语言处理和统计分析三大块。

举个例子。某天你发现「某品牌手机」的微博讨论量突然暴涨。光看数量没用，你得知道大家是在骂它「发热严重」，还是在夸它「拍照真香」。前者是危机预警，后者是营销素材。方向完全不同。

我做过一个项目，客户是家连锁餐饮品牌。他们发现网上讨论量上去了，但全是负面评价——「食材不新鲜」「服务态度差」。如果只看数据量，还以为品牌火了。实际上，那是公关灾难的前兆。

1.2 舆情分析的应用场景

聊完概念，咱们看看实际中都用在哪。我这些年接触过的场景，大致分这么几类：

场景	典型需求	我踩过的坑
品牌声誉管理	监测品牌正负面评价，及时发现危机	曾经漏掉一条关键负面，因为关键词没配全
竞品分析	对比竞品的口碑变化、用户关注点	数据源选错了，竞品在知乎火，我只爬了微博
政策反馈	了解公众对新政策的接受度和建议	忽略了地域差异，南方和北方反应完全不同
产品改进	从用户吐槽中提取产品痛点	情感分析模型太粗糙，把「这功能太烂了」判成中性
舆情预警	在事件发酵前发出警报	阈值设得太低，每天几百条误报，团队直接麻木了

你看，每个场景都有坑。我当年做竞品分析时，就犯过数据源单一的错误。只盯着微博看，结果竞品在知乎上被骂得狗血淋头，我这边还岁月静好。后来老板问我：「人家都翻车了，你怎么没预警？」—— 那叫一个尴尬。

1.3 开源工具生态介绍

好，到了大家最关心的部分：用什么工具干这活儿？

我个人习惯用开源工具。原因很简单：免费、灵活、社区活跃。商业软件固然好用，但遇到定制需求时，开源方案往往更顺手。

数据采集层：Scrapy

Scrapy 是我最常用的爬虫框架。它像一个精密的流水线：你告诉它去哪抓、抓什么、怎么存，剩下的它自己搞定。

# 一个简单的 Scrapy 爬虫示例
import scrapy

class WeiboSpider(scrapy.Spider):
    name = 'weibo'
    start_urls = ['https://weibo.com/search?q=舆情分析']

    def parse(self, response):
        # 提取每条微博的文本和发布时间
        for post in response.css('div.weibo-text'):
            yield {
                'text': post.css('::text').get(),
                'time': post.css('span.time::text').get()
            }

嗯，这里要注意。Scrapy 默认是同步的，但你可以用 scrapy-deltafetch 做增量爬取。我有个项目每天要抓 50 万条数据，全靠这个插件避免重复抓取。

数据处理层：Pandas

数据抓下来之后，Pandas 就是你的瑞士军刀。清洗、过滤、聚合、统计，一条龙搞定。

import pandas as pd

# 读取抓取的数据
df = pd.read_csv('weibo_data.csv')

# 清洗：去除空值和重复数据
df = df.dropna().drop_duplicates()

# 统计每天的发帖量
daily_count = df.groupby('date').size()

# 情感倾向统计
sentiment_stats = df['sentiment'].value_counts()
print(sentiment_stats)

说实话，Pandas 的 groupby 操作我用了五年，每次用都觉得真香。你想想看，几百万条数据，一行代码就能按日期、按情感、按地域分组统计。这在 Excel 里得折腾半天。

自然语言处理层：NLP 库

最后一步，也是最关键的一步：理解文本内容。我常用的几个库：

• jieba：中文分词，简单粗暴。适合快速上手。
• SnowNLP：情感分析，开箱即用。但准确率一般，需要调优。
• HanLP：功能全面，支持命名实体识别、关键词提取。我最近的项目都在用。
• Transformers：BERT 等预训练模型，效果最好但资源消耗大。

from snownlp import SnowNLP

text = "这款产品真的太垃圾了，用了三天就坏了"
s = SnowNLP(text)
print(f"情感得分: {s.sentiments:.2f}")  # 0.12，接近负面

不过我得提醒你，SnowNLP 默认模型是在电商评论上训练的。用在微博舆情上，准确率会打折扣。我一般会用自己的数据重新训练，或者直接用 Transformers 加载一个微调过的 BERT 模型。

知识体系总览

说了这么多，咱们用一张图把整个知识体系串起来。这是我做课程设计时画的，帮你快速建立全局观。

这张图把整个流程串起来了。从左到右，从数据采集到最终输出，每一步都有对应的开源工具。你不需要一次性掌握所有工具，但心里要有这张地图。

好了，第一章的内容就到这儿。咱们把概念理清了，工具也认识了。接下来，我会带你一步步搭建自己的舆情分析流水线。记住，工具是死的，思路是活的。遇到问题多想想：「我到底想从数据里知道什么？」—— 想明白了，工具自然知道怎么用。

---