企业ERP系统迁移与数据清洗实战 · 课程目录

📚 点击卡片跳转至对应章节详情 (01.html ~ 30.html)

共 30 章 · 企业级实战

ERP迁移概述

为什么要迁移？迁移的常见场景（上云、版本升级、系统替换），迁移项目的生命周期。

迁移前的系统评估

如何盘点现有ERP模块、数据量估算、接口依赖分析、性能基线采集。

数据字典与元数据管理

建立数据字典、字段级映射、元数据版本控制，Excel+Python脚本做初版。

数据质量审计

空值率、重复率、一致性检查、异常值检测，用SQL写一套审计脚本。

数据清洗策略设计

清洗规则分类（格式清洗、逻辑清洗、业务清洗），优先级决策矩阵。

地址与主数据清洗

客户/供应商/物料主数据的标准化，曾被地址数据坑过两次。

财务数据清洗

科目表映射、汇率数据修复、历史凭证的合规性检查。

库存数据清洗

盘点差异处理、批次/序列号对齐、库龄异常修正。

BOM与工艺路线清洗

多层BOM展开校验、替代料关系修复、工艺路线一致性检查。

订单与合同数据清洗

未结订单状态修复、合同条款结构化、历史数据归档策略。

数据脱敏与合规

GDPR/个保法要求、敏感字段识别、脱敏算法选择（遮盖/替换/加密）。

迁移工具选型

ETL工具对比（Talend/DataStage/Kettle）、自研脚本的适用场景。

迁移环境搭建

沙箱环境、准生产环境、生产环境的配置差异，建议用Docker做环境一致性。

全量迁移策略

全量导出方案、断点续传机制、数据校验（行数/哈希校验）。

增量迁移策略

CDC技术选型（日志解析/触发器/时间戳）、增量数据捕获与回放。

迁移脚本开发

Python迁移框架设计、错误处理与重试机制、日志记录规范。

数据映射与转换

字段映射表设计、复杂转换逻辑（条件映射/查表转换/公式计算）。

迁移测试策略

单元测试、集成测试、用户验收测试（UAT），测试数据准备技巧。

批量大小优化、索引策略、并行度控制，调过8小时到40分钟的案例。

回滚方案设计

全量回滚、增量回滚、数据快照恢复，回滚脚本要提前写好。

演练计划、场景设计（正常/异常）、演练报告模板。

割接窗口管理、执行步骤、监控指标、应急响应流程。

割接后验证

业务验证清单、数据一致性比对、性能对比报告。

数据清洗自动化

用Airflow编排清洗任务、调度策略、监控告警。

数据质量看板

用Grafana+Prometheus搭建实时数据质量监控看板。

迁移文档管理

技术文档、操作手册、培训材料，习惯用GitBook管理版本。

团队协作与沟通

迁移项目中的角色分工、沟通计划、问题升级机制。

常见坑与避障指南

字符集问题、时区问题、大对象处理、锁表问题。

某制造企业从SAP ECC迁移到SAP S/4HANA的全过程复盘。

ERP上云、微服务化、AI辅助数据清洗、低代码迁移平台。