3、数据采集与传感器：常见数据采集方式（API、传感器、爬虫），数据采集的伦理与法律问题

数据采集，说白了就是给AI模型找吃的。没有数据，再牛的算法也是空中楼阁。我做了这么多年AI项目，见过太多团队把精力全砸在调参上，结果数据质量一塌糊涂，模型根本跑不动。今天咱们就聊聊数据采集的几种主流方式，以及那些容易踩的坑。

3.1 数据采集的三种主流方式

我个人习惯把数据采集分成三类：API接口、传感器采集、网络爬虫。每种方式都有它的脾气，选对了事半功倍。

3.1.1 API接口采集

API是现在最规范的数据获取方式。说白了，就是别人把数据封装好，你按规矩去拿。我在项目中遇到过最典型的例子——调用天气API做预测模型。

举个实际例子，调用一个公开的天气API：

import requests
import json

# 配置API密钥和参数
api_key = "your_api_key_here"
city = "Beijing"
url = f"https://api.weather.com/v1/city/{city}/forecast"

# 设置请求头
headers = {
    "Authorization": f"Bearer {api_key}",
    "Content-Type": "application/json"
}

# 发送请求
response = requests.get(url, headers=headers)

# 处理响应
if response.status_code == 200:
    data = response.json()
    # 提取关键字段
    temperature = data['current']['temp']
    humidity = data['current']['humidity']
    print(f"温度: {temperature}°C, 湿度: {humidity}%")
else:
    print(f"请求失败: {response.status_code}")

3.1.2 传感器采集

传感器采集是物联网和工业AI的基石。你想想看，智能工厂里的温度传感器、自动驾驶汽车上的激光雷达，这些都是数据源头。

常见的传感器类型：

• 温度/湿度传感器：DHT11、DHT22，适合环境监测
• 图像传感器：摄像头模组，用于视觉识别
• 距离传感器：超声波、激光雷达，用于测距和避障
• 惯性传感器：加速度计、陀螺仪，用于姿态检测

我做过一个项目，用树莓派接DHT11传感器采集温湿度数据。嗯，这里要注意，传感器采集最怕的是噪声和漂移。我曾经因为传感器没校准，采集了一周的数据全是偏的，模型训练出来根本不能用。

import Adafruit_DHT
import time

# 传感器类型和引脚
sensor = Adafruit_DHT.DHT11
pin = 4

# 连续采集10次数据
for i in range(10):
    humidity, temperature = Adafruit_DHT.read_retry(sensor, pin)
    if humidity is not None and temperature is not None:
        print(f"第{i+1}次采集: 温度={temperature:.1f}°C, 湿度={humidity:.1f}%")
    else:
        print("传感器读取失败，请检查连接")
    time.sleep(2)  # 间隔2秒

3.1.3 网络爬虫

爬虫是获取公开网页数据的重要手段。但说实话，爬虫也是最容易踩法律红线的方式。我个人建议，能用API就别用爬虫，实在没办法了再考虑。

一个简单的爬虫示例，抓取公开的新闻标题：

import requests
from bs4 import BeautifulSoup

# 目标URL（必须是公开可访问的）
url = "https://example-news-site.com/latest"

# 设置User-Agent模拟浏览器
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()
    
    soup = BeautifulSoup(response.text, 'html.parser')
    titles = soup.find_all('h2', class_='news-title')
    
    for i, title in enumerate(titles[:10], 1):
        print(f"{i}. {title.get_text().strip()}")
        
except requests.exceptions.RequestException as e:
    print(f"爬取失败: {e}")

3.2 数据采集的伦理与法律问题

这部分内容，我建议每个做AI的人都认真看看。数据采集不是技术活，更是良心活。

3.2.1 法律红线

国内有《个人信息保护法》《数据安全法》，欧盟有GDPR。这些法律不是摆设，是真能让你吃官司的。

法律/法规	核心要求	常见违规行为
个人信息保护法	采集个人信息需告知并取得同意	未经授权采集用户隐私数据
数据安全法	重要数据需分类分级保护	未脱敏直接使用敏感数据
网络安全法	不得非法获取网络数据	绕过反爬机制抓取受保护数据

3.2.2 伦理考量

法律是最低底线，伦理是更高要求。我见过太多项目，技术上没问题，但伦理上站不住脚。

• 知情同意：采集用户数据前，必须明确告知用途。别搞那种小字条款。
• 数据最小化：只采集你真正需要的数据。别为了「万一有用」就什么都存。
• 公平性：注意数据是否带有偏见。比如只采集某个群体的数据，模型就会产生偏见。
• 透明度：让用户知道他们的数据被用在哪里，能不能删除。

你想想看，如果一个AI模型因为训练数据有偏见，导致对某个群体不公平，那这个模型再准也没用。我参与过一个医疗AI项目，采集数据时特别注意了不同年龄、性别、地域的样本比例，就是为了避免模型产生偏见。

3.3 本章知识体系

下面这张图，是我梳理的数据采集完整链路。从数据源到最终入库，每一步都有讲究。

好了，关于数据采集就聊这么多。记住，技术是工具，怎么用才是关键。别为了省事走捷径，最后吃亏的还是自己。

---

公众号:蓝海资料掘金营，微信deep3321