数据基础：协同数据的类型与预处理
做协同分析，第一步就是搞清楚数据长什么样。我见过不少团队，模型还没跑呢，先被数据格式搞崩溃了。说白了，协同数据就三大类：时间序列、网络结构、文本内容。咱们一个一个聊。
时间序列数据：记录“什么时候发生了什么”
时间序列，就是带时间戳的数据点。比如团队成员的打卡记录、代码提交时间、会议时长。这类数据有个特点——前后依赖。你今天提交代码的时间，往往和昨天有关联。
我在项目中遇到过最典型的场景：分析一个远程团队的协作效率。我们抓了每个人每天的活跃时段，发现有人凌晨2点还在提交代码。嗯，这其实是个危险信号——要么是加班过度，要么是时区没对齐。
时间序列的核心字段：
- timestamp：时间戳，精确到秒或毫秒
- event_type：事件类型（提交、评论、会议）
- user_id：谁干的
- duration：持续时间（可选）
采集时间序列数据，我建议用UTC时间存储。为什么？因为团队可能跨时区。你存了北京时间，新加坡的同事看着就懵了。统一转成UTC，展示时再按用户时区转换，这是基本功。
网络数据：谁和谁在协作
网络数据，说白了就是节点和边。节点是人，边是协作关系。比如A给B发了消息，A和B之间就有一条边。这种数据能揭示团队的信息流动和权力结构。
我曾经帮一个创业公司做组织诊断。他们觉得团队沟通很顺畅，结果我一画网络图，发现所有信息都经过CTO一个人。这就是典型的“中心化瓶颈”——CTO成了单点故障。后来我们调整了协作模式，效率提升了30%。
网络数据的常见格式：
- 边列表（edge list）：source, target, weight
- 邻接矩阵：行和列都是节点，单元格表示关系
- 属性表：节点或边附带额外信息（部门、角色等）
采集网络数据时要注意方向性。邮件是单向的（A发给B），但会议是双向的。你想想看，如果搞混了方向，分析结果会完全跑偏。
文本数据：协作中说了什么
文本数据，就是聊天记录、邮件正文、会议纪要、代码注释。这类数据最丰富，也最难处理。因为自然语言有歧义、有情绪、有上下文。
我记得有一次分析一个项目的沟通记录。光看关键词频率，“紧急”这个词出现了200多次。但仔细读上下文，发现大部分是“不紧急”或者“别着急”。这就是文本分析的坑——光看词频会误判。
文本数据采集的注意事项：
- 隐私合规：确保有权限采集，必要时脱敏
- 编码统一：UTF-8是标配，别用GBK
- 去重：同样的消息别重复采集（比如邮件转发）
数据采集与预处理：脏活累活但必须干
数据采集，我习惯用API。Slack、GitHub、Jira都有现成的接口。但要注意限流——我曾经一次性拉太多数据，直接被封了IP。后来学乖了，加个sleep(1)慢慢拉。
预处理就更关键了。原始数据就像毛坯房，不装修没法住。常见的预处理步骤：
- 缺失值处理：时间戳缺失？直接扔掉或者用前后值填充
- 异常值检测：有人一天提交了1000次代码？这明显是脚本跑的
- 格式统一：日期格式五花八门，全转成ISO 8601
- 去重：同一个事件被记录了两次？保留最早的那条
一个简单的预处理示例（Python伪代码）：
# 时间序列清洗
df['timestamp'] = pd.to_datetime(df['timestamp'], utc=True)
df = df.drop_duplicates(subset=['user_id', 'event_type', 'timestamp'])
df = df[df['duration'] > 0] # 过滤负值
# 网络数据清洗
edges = edges.dropna(subset=['source', 'target'])
edges = edges[edges['source'] != edges['target']] # 去掉自环嗯，这里要注意：预处理不是一次性的。数据源变了，预处理逻辑也得跟着调。我建议把预处理写成函数，每次跑数据前先跑一遍检查。
知识体系总览
下面这张图，是我自己总结的协同数据类型与处理流程。你可以把它当成一个检查清单——做项目前先过一遍，能省不少事。
这张图从左到右，从上到下，就是完整的数据处理链路。你拿到原始数据后，先判断它属于哪一类，然后按对应的方式采集，最后统一预处理。别想着一步到位，数据工作就是迭代的。
我的个人习惯：每次拿到新数据，先花20%的时间做探索性分析（EDA）。看看缺失值比例、异常值分布、数据量级。心里有数了，再动手写预处理代码。这样能避免做到一半发现数据根本不能用。
好了，数据基础就聊到这儿。记住一句话：垃圾进，垃圾出。数据质量决定了分析的天花板。下一节咱们会聊怎么把这些数据变成可视化的图表，但前提是——你的数据已经洗干净了。
公众号:蓝海数据掘金营，微信deep3321