1. 社交媒体数据概述
大家好，我是这门课的主讲人。今天咱们聊聊社交媒体数据——这个听起来很宽泛，但实际工作中处处是坑的话题。
我做了快十年的数据挖掘，接触过的社交媒体平台少说也有二十多个。说实话，每个平台都有自己的脾气。你想想看，微博的数据结构和抖音能一样吗？LinkedIn 和 Reddit 的用户行为模式更是天差地别。
这一章，我会把社交媒体数据的底层逻辑拆开给你看。咱们不讲虚的，直接上干货。
1.1 社交媒体平台类型
先给个全景图。我个人习惯把社交媒体分成四大类：
- 内容分享型：微博、Twitter、Instagram。核心是短文本+多媒体。数据量巨大，但单条信息密度低。
- 社交关系型：微信、Facebook、LinkedIn。强关系链，数据隐私敏感度高。我在项目中遇到过，这类数据最难拿，也最容易踩伦理红线。
- 社区讨论型：Reddit、知乎、贴吧。长文本为主，话题聚焦。做品牌监测时，这里往往是口碑发酵的源头。
- 视频/直播型：抖音、快手、YouTube。非结构化数据为主，文本只是辅助。嗯，这里要注意，视频的评论和弹幕才是文本挖掘的主战场。
核心观点：别试图用一个模型打天下。不同平台的数据结构、API限制、用户行为模式完全不同。我见过太多团队拿微博的爬虫逻辑去抓抖音，结果数据全废了。
1.2 数据特点
社交媒体数据有什么特点？说白了就是三个字：多、杂、快。
| 特点 | 具体表现 | 我的踩坑经验 |
|---|---|---|
| 海量性 | 每分钟产生TB级数据 | 曾经用单机跑全量数据，跑了三天直接OOM。后来学乖了，先采样再建模。 |
| 异构性 | 文本、图片、视频、表情包混在一起 | 表情包里的文字识别，我试过OCR，准确率惨不忍睹。最后改用用户标注的alt文本。 |
| 时效性 | 热点话题生命周期短则几小时 | 做舆情监测时，模型训练完热点已经过了。现在我都用增量学习。 |
| 噪声大 | 广告、水军、重复内容泛滥 | 水军识别这块，我吃过不少亏。单纯靠IP或时间模式已经不够用了。 |
为什么会这样？因为社交媒体本质上是「人」的数字化映射。人的情绪、行为、社交关系都是高度动态的。你想想看，一个人早上发早安，中午吐槽工作，晚上晒美食——这些数据放在一起，能直接建模吗？不能。必须先做场景分离。
1.3 API接口基础
说到API，我得先泼盆冷水。很多人以为有了API就能为所欲为，其实不然。
我整理了一份主流平台的API限制对比：
| 平台 | 免费额度 | 速率限制 | 数据字段 | 我的建议 |
|---|---|---|---|---|
| Twitter/X | 1500条/月 | 450次/15分钟 | 基础字段 | 适合做小规模实验 |
| 微博 | 200次/小时 | 严格IP限制 | 需申请高级权限 | 建议用企业版 |
| 无硬性限制 | 60次/分钟 | 全字段 | 开发者友好，推荐入门 | |
| 抖音 | 极低 | 动态限制 | 仅公开数据 | 基本只能靠爬虫 |
来看一段我常用的Twitter API调用示例。注意，这里我用了v2版本，v1已经快被淘汰了：
import tweepy
# 我个人习惯把密钥放在环境变量里
client = tweepy.Client(
bearer_token=os.getenv('TWITTER_BEARER'),
wait_on_rate_limit=True # 这个参数救过我很多次
)
# 搜索最近7天的推文
query = '品牌监测 -is:retweet lang:zh'
response = client.search_recent_tweets(
query=query,
max_results=100,
tweet_fields=['created_at', 'public_metrics']
)
for tweet in response.data:
print(f"{tweet.created_at}: {tweet.text[:50]}")
避坑指南：我曾经在项目里忘了加 wait_on_rate_limit，结果API调用到一半被限流，数据采集中断了整整6小时。从那以后，我所有API调用都会加上这个参数。
1.4 数据伦理与隐私
这部分我多说几句。数据伦理不是空话，它直接关系到你能不能合法地做研究。
我遇到过最典型的案例：有个团队爬了某平台的用户数据做情感分析，结果被用户投诉侵犯隐私。最后不仅数据被要求删除，还被平台封了IP。得不偿失。
几个必须遵守的原则：
- 知情同意：公开数据不等于可以随意使用。用户发帖时并不知道你会拿去做商业分析。
- 数据脱敏：用户名、地理位置、设备ID这些敏感字段，必须做匿名化处理。
- 合规使用：不同国家法律不同。GDPR、CCPA、中国的《个人信息保护法》都要了解。
- 最小化原则：只采集你需要的字段。别贪多，数据越多责任越大。
警告：不要试图绕过API限制去爬数据。我见过有人用代理池+分布式爬虫去抓Instagram，结果被平台永久封禁了所有关联账号。做数据挖掘，合规是第一位的。
最后，我画了一张知识体系图，帮你把这一章的内容串起来：
这张图把四个核心模块串起来了。你仔细看，平台类型决定了你能拿到什么数据，数据特点决定了你怎么处理，API接口决定了获取方式，而数据伦理是贯穿始终的红线。少了任何一个环节，你的数据挖掘项目都可能翻车。
好了，这一章就到这里。记住我一句话：理解数据，比会写代码更重要。下一章咱们会深入文本预处理，到时候见。