数据源识别与采集：打好信息战的第一仗

各位同学，今天咱们聊聊数据采集。说实话，我在情报分析这行干了十几年，见过太多人一上来就急着建模、跑算法，结果数据质量一塌糊涂，最后全白忙活。我个人的习惯是——先花 40% 的时间搞清楚数据从哪来、怎么来、质量怎么样。这一步走稳了，后面才谈得上分析。

结构化数据 vs 非结构化数据：两种「语言」

数据分两大类，这个大家应该都清楚。但我想说的是，实际工作中这两类数据往往是混在一起的。

结构化数据，说白了就是能放进 Excel 表格里的东西。行是记录，列是字段，规规矩矩。比如数据库里的用户表、交易记录、传感器读数。我在做金融风控项目时，最常用的就是这类数据——客户年龄、收入、历史交易次数，清清楚楚。

非结构化数据就麻烦多了。文本、图片、音频、视频……没有固定格式。我记得有一次做舆情分析，要处理几十万条微博评论。那叫一个头疼——表情符号、网络用语、错别字，什么都有。但恰恰是这些「脏数据」里藏着最真实的情报。

对比维度	结构化数据	非结构化数据
格式	固定字段、行/列	无固定格式
存储	关系型数据库	NoSQL、文件系统
处理难度	低（直接分析）	高（需预处理）
信息密度	高（字段明确）	低（噪声多）
典型来源	ERP、CRM、日志	社交媒体、邮件、监控

内部数据 vs 外部数据：你的「家底」和「情报网」

内部数据，就是你自己系统里攒的那些东西。销售记录、客服聊天记录、生产日志……这些数据你说了算，想怎么采就怎么采。但问题在于——很多公司的内部数据是「数据孤岛」，销售部一套系统，市场部另一套，数据格式还不一样。我见过最夸张的一个项目，光打通内部数据就花了两周。

外部数据就更有意思了。政府公开数据、行业报告、社交媒体、天气数据……这些都是「别人的数据」。采集外部数据，说白了就是「借力打力」。我个人习惯用 Python 写爬虫去抓公开数据，但要注意——别踩法律红线。我曾经有个同事，为了省事直接爬了某平台的用户信息，结果被发了律师函。

数据采集的常用工具与方法

工具这块，我按场景给大家梳理一下。别贪多，每个场景掌握一两个趁手的就行。

1. 数据库采集

最基础的方式。用 SQL 直接查，或者用 ETL 工具（比如 Apache NiFi、Talend）做定时同步。我一般用 Python 的 pandas 库配合 SQLAlchemy，写个脚本就能搞定。

import pandas as pd
from sqlalchemy import create_engine

# 连接数据库
engine = create_engine('postgresql://user:pass@localhost:5432/mydb')

# 执行查询
df = pd.read_sql('SELECT * FROM orders WHERE date >= "2024-01-01"', engine)

# 保存为 CSV
df.to_csv('orders_2024.csv', index=False)

2. API 采集

现在大部分平台都提供 API。比如 Twitter API、天气 API、股票数据 API。用 requests 库发个 GET 请求就行。但要注意频率限制——我曾经一次性发太多请求，直接被封了 IP。

import requests
import json

url = 'https://api.weather.gov/points/39.7456,-97.0892'
headers = {'User-Agent': 'MyApp/1.0'}

response = requests.get(url, headers=headers)
data = response.json()

# 提取关键信息
forecast_url = data['properties']['forecast']
print(f'预报链接: {forecast_url}')

3. 网页爬虫

适合采集没有 API 的网站。我用 BeautifulSoup 和 Scrapy 比较多。但说实话，现在很多网站反爬措施越来越严，动态加载、验证码、IP 限制……嗯，这里要注意：尊重网站的 robots.txt 文件，别硬来。

from bs4 import BeautifulSoup
import requests

url = 'https://example.com/news'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 提取所有新闻标题
titles = soup.find_all('h2', class_='news-title')
for title in titles:
    print(title.text.strip())

4. 日志采集

服务器日志、应用日志里藏着大量行为数据。工具方面，Logstash + Elasticsearch 是经典组合。我习惯用 Filebeat 做轻量级采集，不占资源。

数据质量评估：别让垃圾数据毁了你的分析

数据采回来了，但能用吗？我见过太多人栽在这个坑里。数据质量评估，说白了就是回答五个问题：

1. 完整性——有没有空值？缺失比例是多少？
2. 准确性——数据跟真实情况一致吗？比如用户年龄填 200 岁，明显有问题。
3. 一致性——不同来源的数据对得上吗？同一个客户，CRM 里叫「张三」，订单系统里叫「张 三」（多了个空格），这就是不一致。
4. 时效性——数据够新吗？做实时分析用昨天的数据，那叫刻舟求剑。
5. 唯一性——有没有重复记录？我处理过一个客户数据，同一个用户出现了 7 次，只是邮箱大小写不同。

import pandas as pd
from pandas_profiling import ProfileReport

df = pd.read_csv('orders_2024.csv')
profile = ProfileReport(df, title='数据质量报告')
profile.to_file('data_quality_report.html')

知识体系总览

下面这张图，是我自己梳理的数据采集知识框架。你把它存下来，每次做采集项目前看一眼，保证不跑偏。

好了，这一章的内容就到这。数据采集是信息分析的地基，地基不稳，楼盖得再高也是危房。下一章咱们聊聊数据清洗和预处理——说白了，就是怎么把「脏数据」洗白，让它能真正为你所用。

---