3. 数据源分类与评估：一手数据与二手数据
做数据分析这么多年，我有个很深的体会：数据源选不对，后面全白费。你想想看，再牛的算法，喂进去的是垃圾，吐出来的只能是更精致的垃圾。所以这一节，咱们把数据源的底裤扒干净，看看它们到底该怎么分类、怎么评估。
3.1 一手数据 vs 二手数据：谁更靠谱？
先说个最简单的分法——一手数据和二手数据。说白了，就是你自己亲手挖的，还是别人挖完你捡来用的。
一手数据（Primary Data）
一手数据是你为了某个特定目的，亲自采集的原始数据。比如你设计了一份问卷，让用户填了提交上来；或者你在App里埋了点，记录用户点击行为。这些数据，所有权和控制权都在你手里。
优点：针对性强、质量可控、能回答你特有的问题。
缺点：采集成本高、周期长、样本量可能有限。
我记得有一次帮一家零售企业做用户画像，他们想了解「为什么高端会员流失率突然升高」。二手数据根本查不到原因，我们只好重新设计了一份深度访谈问卷，一对一聊了50个会员。嗯，虽然累，但挖出来的原因——「客服态度变差」——直接帮他们挽回了30%的流失用户。
二手数据（Secondary Data）
二手数据是别人已经采集好、整理过的数据。比如国家统计局发布的GDP数据、电商平台公开的行业报告、社交媒体上的公开帖子。说白了，就是「捡现成的」。
优点：获取快、成本低、样本量大。
缺点：可能过时、口径不一致、无法回答你特有的问题。
我个人的习惯是：能用二手数据先探路，再用一手数据深挖。比如你想分析「Z世代的消费偏好」，先找几份行业报告看看趋势，心里有个底，再设计问卷去验证自己的假设。这样既省钱，又不会跑偏。
避坑指南：我曾经接手过一个项目，团队直接拿三年前的二手数据做决策模型，结果预测结果和实际差了40%。为什么？因为疫情之后消费习惯全变了。所以用二手数据前，一定先问自己三个问题：谁采集的？什么时候采集的？采集目的是什么？
3.2 内部数据 vs 外部数据：你的数据资产地图
另一个重要的分类维度，是看数据来自组织内部还是外部。这个分类在商业场景里特别实用。
内部数据（Internal Data）
内部数据就是你家公司自己产生的数据。最常见的三个来源：
- CRM（客户关系管理系统）：记录了每个客户的联系方式、购买历史、投诉记录、客服沟通内容。说白了，就是客户的「档案本」。
- ERP（企业资源计划系统）：记录了采购、库存、生产、财务等内部运营数据。比如某款商品今天库存还剩多少、供应商发货延迟了几天。
- 交易记录：每一笔订单的金额、时间、商品、支付方式。这是最「干净」、最「硬」的数据。
我建议你先把内部数据梳理清楚。很多公司花大价钱买外部数据，结果发现内部数据里早就有了答案。比如有个客户问我：「为什么复购率上不去？」我让他先拉CRM数据一看，发现70%的客户在购买后一个月内没有任何触达——不是复购率低，是压根没人去维护。
外部数据（External Data）
外部数据来自公司之外。常见的包括：
- 社交媒体数据：微博、小红书、抖音上的用户评论、点赞、转发。能帮你了解用户对品牌的真实态度。
- 公开API：比如天气API、地图API、股票行情API。这些数据能帮你做更丰富的分析场景。
- 行业报告/政府公开数据：市场规模、人口结构、政策法规等宏观数据。
注意：外部数据最大的坑是「数据质量不可控」。我曾经用某社交平台的公开API抓取用户评论做情感分析，结果发现API返回的数据里混了大量机器人水军。嗯，清洗数据花了两天，比分析本身还累。
3.3 数据质量评估维度：四个核心指标
不管数据来自哪里，最终都要过质量关。我总结了一套「四维评估法」，你每次拿到新数据，都可以拿这个框架过一遍。
| 维度 | 定义 | 常见问题 | 我的经验 |
|---|---|---|---|
| 准确性 | 数据是否真实反映了客观事实 | 录入错误、传感器偏差、计算错误 | 我习惯用「抽样核对法」——随机抽100条记录，人工核对一遍 |
| 完整性 | 数据是否有缺失 | 空值、字段缺失、记录不完整 | 先看缺失率，超过20%的字段要慎重使用 |
| 一致性 | 不同来源的数据是否相互矛盾 | 同一客户在不同系统里姓名不同、单位不统一 | 我最头疼的就是这个——CRM里叫「张三」，ERP里叫「张先生」 |
| 时效性 | 数据是否足够新 | 数据过时、更新频率低 | 做实时推荐，数据超过1小时就废了；做年度趋势分析，去年的数据还能用 |
核心原则：没有完美的数据，只有「够用」的数据。你要根据分析目标，决定哪些维度可以容忍，哪些必须死磕。
3.4 知识体系总览
下面这张图，把这一节的核心逻辑串起来了。你可以把它当作「数据源评估的检查清单」。
这张图从左到右、从上到下，把数据源的分类和评估逻辑串了一遍。你以后拿到任何数据，都可以先问自己：它是一手还是二手？内部还是外部？四个质量维度分别打几分？ 想清楚这三个问题，数据采集阶段就不会跑偏。
一个小技巧：我每次做数据源评估，都会画一个类似的「四维雷达图」。准确性、完整性、一致性、时效性各打1-5分，哪个维度低于3分，就要重点处理。比如时效性只有2分，那就先做数据更新，再往下分析。
公众号:蓝海资料掘金营，微信deep3321