第2章：数据采集基础：社交媒体API介绍与法律边界
说实话，做社交舆情分析，最头疼的往往不是算法本身，而是数据从哪来。
我刚开始接触这个领域时，以为直接写个爬虫就能搞定。结果呢？被微博封了三次IP，Twitter账号也被冻结过。后来才明白——正规军都用API。API是平台官方给你的数据接口，就像餐厅的后厨窗口，你点菜，它出菜，规矩清清楚楚。
2.1 三大主流平台API概览
目前社交舆情分析最常用的三个数据源：微博、Twitter（现在叫X了）、Reddit。我一个个说。
2.1.1 微博API
微博的开放平台做得其实不错，但坑也不少。我个人习惯用微博开放平台的API v2版本。你需要先注册开发者账号，创建应用，拿到App Key和App Secret。
核心接口：
statuses/public_timeline- 获取公共微博statuses/user_timeline- 获取指定用户微博search/topics- 关键词搜索comments/show- 获取评论数据
嗯，这里要注意：微博API的频率限制很严格。普通应用每小时只能请求150次。我在项目中遇到过，爬热点事件时，数据还没拉完就被限流了。解决方案？多申请几个应用，轮换使用App Key。
小技巧：微博的搜索接口支持since_id和max_id分页。我建议每次请求时记录返回的max_id，下次请求带上它，这样不会漏数据。
2.1.2 Twitter API v2
Twitter的API现在全面升级到v2了。说实话，比v1.1好用很多，但门槛也高了。你需要申请Elevated Access才能拿到完整数据。
核心认证方式有两种：
- Bearer Token - 适合只读场景，比如搜索推文
- OAuth 1.0a - 需要发推、关注等写操作时用
常用端点：
GET /2/tweets/search/recent- 最近7天推文搜索GET /2/tweets/search/all- 全量搜索（需要学术研究权限）GET /2/users/:id/tweets- 获取用户时间线
我曾经为了做一个舆情分析项目，需要拉取某品牌过去三个月的所有提及。用学术研究权限申请，等了整整两周才批下来。所以我的建议是——提前规划，尽早申请。
2.1.3 Reddit API
Reddit的API相对友好。它使用OAuth2认证，但不需要像Twitter那样层层审批。你注册一个应用，拿到client_id和client_secret就能用。
Reddit的数据结构很有意思：
- Subreddit - 子版块，相当于话题分类
- Submission - 帖子
- Comment - 评论（树形结构）
避坑指南：Reddit的API有严格的速率限制，每分钟60次请求。我曾经写了个循环没加sleep，直接被封了24小时。后来学乖了，用praw库自带的限流机制，稳得很。
2.2 数据采集的伦理与法律边界
这部分我放在最后讲，但其实是最重要的。你想想看，数据采集搞不好是要吃官司的。
2.2.1 法律红线
| 地区 | 核心法规 | 关键要求 |
|---|---|---|
| 中国 | 《网络安全法》《个人信息保护法》 | 需明示收集目的，不得过度采集 |
| 欧盟 | GDPR | 用户有权删除数据，需明确同意 |
| 美国 | CCPA（加州） | 用户可要求不售卖其数据 |
说白了，三条底线：
- 不要采集隐私信息 - 手机号、地址、身份证号，碰都别碰
- 遵守平台规则 - API有使用条款，爬虫有robots.txt
- 数据脱敏 - 发布分析结果时，去掉个人标识
警告：我曾经见过一个团队，爬了微博用户的私信数据做情感分析。结果被用户集体起诉，赔了上百万。记住：公开数据≠可以随意使用。
2.2.2 伦理考量
法律是底线，伦理是更高要求。我个人的原则是：
- 透明 - 告诉用户你在采集什么数据，用来做什么
- 最小化 - 只采集你真正需要的数据
- 尊重 - 用户删除内容后，你的数据库也要同步删除
你想想看，如果别人偷偷记录你的一言一行，你是什么感受？将心比心，数据采集不是技术问题，是人品问题。
2.3 本章知识体系
下面这张图，是我梳理的数据采集核心逻辑。建议你保存下来，做项目时对照着看。
2.4 实战建议
最后，给你三个实操建议：
- 先用沙盒环境测试 - 所有平台都提供沙盒或测试模式，别一上来就怼生产环境
- 做好错误处理 - API会返回各种错误码（401未授权、429限流、503服务不可用），你的代码要能优雅处理
- 数据存储要合规 - 采集到的数据，建议加密存储，设置自动删除策略
我的习惯：每次采集前，先写一份数据采集声明，写明采集范围、用途、存储期限。这既是法律要求，也是对自己负责。
好了，数据采集的基础就这些。记住：技术是工具，合规是底线。下一章我们开始实战，用Python写第一个数据采集脚本。
公众号:蓝海资料掘金营，微信deep3321