4、数据标准化与映射：字段映射规范

数据标准化，说白了就是让不同系统的数据能「说同一种语言」。我在做交易审计的时候，经常遇到这种情况：A系统叫「订单号」，B系统叫「交易流水号」，C系统干脆就叫「ID」。你想想看，如果不做统一映射，后续的分析根本没法搞。

我个人习惯把标准化分成三个层面来搞：字段命名、类型转换、枚举值统一。咱们一个一个说。

4.1 字段映射规范

字段映射的核心，就是定一套「通用字典」。我建议你建一个映射表，把各个系统的字段名都对应过来。

4.1.1 统一命名规范

命名这事，看着简单，坑其实不少。我在项目中遇到过，有人用「trans_id」，有人用「transactionId」，还有人用「交易编号」。嗯，这要是不统一，join的时候直接崩溃。

我一般推荐用蛇形命名法（snake_case），全小写，下划线分隔。举个例子：

-- 推荐命名
transaction_id
order_amount
payment_time
merchant_code

-- 不推荐命名
transactionId
OrderAmount
paymentTime
merchantCode

为什么要统一？因为后续的ETL脚本、SQL查询、数据仓库建模，全都依赖这套命名。你想想看，如果每个系统都用自己的命名，那映射表得写多长？

4.1.2 类型转换规范

类型转换是另一个容易翻车的地方。我记得有一次，一个系统把金额存成字符串，另一个系统存成decimal，结果聚合的时候直接报错。

我建议你定一套「目标类型标准」：

源字段	源类型	目标类型	转换规则
交易金额	VARCHAR	DECIMAL(18,2)	去除货币符号，保留两位小数
交易时间	VARCHAR	TIMESTAMP	统一转为UTC时间戳
用户ID	INT	STRING	补齐前导零，保证长度一致
订单状态	INT	STRING	映射为可读的枚举值

4.2 枚举值标准化

枚举值标准化，说白了就是把「1、2、3」这种数字，变成「成功、失败、处理中」这种人能看懂的东西。但这里有个坑——不同系统对同一个状态的编码可能完全不同。

4.2.1 交易状态标准化

我在项目中遇到过，A系统用「0」表示成功，B系统用「1」表示成功，C系统用「S」表示成功。你想想看，如果不做映射，统计结果能准吗？

我建议你建一个「状态映射表」：

标准状态	系统A编码	系统B编码	系统C编码
成功	0	1	S
失败	1	0	F
处理中	2	2	P
退款	3	3	R
超时	4	4	T

4.2.2 渠道编码标准化

渠道编码也是重灾区。我记得有一次，一个支付渠道在A系统叫「alipay」，在B系统叫「ALIPAY」，在C系统叫「支付宝」。嗯，这要是直接拿来分组统计，结果肯定不对。

我一般这么处理：

-- 渠道编码映射示例
标准编码: alipay
  系统A: alipay
  系统B: ALIPAY
  系统C: 支付宝
  系统D: zhifubao

标准编码: wechat_pay
  系统A: wechat
  系统B: WXPAY
  系统C: 微信支付
  系统D: weixin

你想想看，如果不做这个映射，你统计「支付宝的交易笔数」时，可能只统计到系统A的数据，漏掉了系统B和系统C。这审计结果谁敢信？

4.3 时区统一处理

时区问题，是交易审计里最容易出bug的地方之一。我刚开始做的时候，就吃过这个亏——有个跨境交易，A系统用UTC，B系统用北京时间，C系统用纽约时间。结果对账的时候，同一笔交易的时间差了12个小时。

我建议你统一用UTC时间作为标准。为什么？因为UTC没有夏令时，不会出现「一小时重复」或「一小时缺失」的问题。

4.3.1 时区转换规则

具体怎么做？我一般分三步：

1. 识别源时区：每个系统必须明确标注自己的时区
2. 统一转UTC：所有时间字段都转为UTC时间戳
3. 保留原始时间：在数据里保留一列「原始时间」，方便回溯

-- 时区转换示例（Python）
from datetime import datetime, timezone
import pytz

def convert_to_utc(local_time_str, source_timezone):
    """
    将本地时间转为UTC时间
    """
    local_tz = pytz.timezone(source_timezone)
    local_time = datetime.strptime(local_time_str, '%Y-%m-%d %H:%M:%S')
    local_time = local_tz.localize(local_time)
    utc_time = local_time.astimezone(timezone.utc)
    return utc_time.strftime('%Y-%m-%d %H:%M:%S')

# 示例
print(convert_to_utc('2024-01-15 14:30:00', 'Asia/Shanghai'))
# 输出: 2024-01-15 06:30:00

4.4 知识体系总览

说了这么多，咱们用一张图来总结一下数据标准化与映射的核心逻辑：

这张图展示的就是整个数据标准化的核心流程。从多个源系统出发，经过字段映射、类型转换、枚举值标准化、时区统一，最终输出一套「干净」的标准数据，供后续的审计分析、数据仓库、报表系统使用。