1. 数据挖掘概述：什么是数据挖掘、CRISP-DM方法论、项目生命周期、典型应用场景

大家好，欢迎来到这门课。我是你们的老朋友，一个在数据挖掘领域摸爬滚打了十几年的工程师。

咱们开门见山。第一节课，我想聊聊数据挖掘到底是什么。很多人觉得它高深莫测，其实说白了，就是从海量数据里「淘金」的过程。你想想看，一堆杂乱无章的数字、文本、日志，经过一系列操作，突然能告诉你「哪些客户要流失了」或者「下个月销量会涨多少」——这就是数据挖掘的魅力。

1.1 什么是数据挖掘？

官方定义我就不念了。我个人习惯把它理解成「用算法和统计学，从数据中发现隐藏规律」。它跟传统数据分析最大的区别在于：分析是验证已知假设，而挖掘是探索未知模式。

举个例子。我几年前帮一家电商做项目。他们问：「为什么退货率突然高了？」传统分析会查退货原因、看差评。但数据挖掘不一样——我们跑了个关联规则，发现「买A商品的人，有80%同时买了B商品，而B商品最近批次有质量问题」。你看，这个规律之前没人知道。

1.2 CRISP-DM方法论

聊到数据挖掘项目，就绕不开CRISP-DM。这是业界最成熟的方法论，没有之一。我见过太多团队一上来就调模型，结果数据质量一塌糊涂，白忙活一个月。嗯，这里要注意，CRISP-DM就是用来避免这种坑的。

它把项目分成6个阶段，但注意——它不是线性的，而是循环的。我画个图你感受下：

阶段	核心任务	我的经验
业务理解	明确业务目标和需求	我曾经花了两周跟业务方吵架，就为了搞清楚「提升转化率」到底指哪个指标
数据理解	收集数据、探索数据、验证质量	这一步我建议至少占项目20%的时间
数据准备	清洗、转换、特征工程	最枯燥但最关键，80%的脏活都在这里
建模	选择算法、训练模型、调参	很多人觉得这是核心，其实它只占10%的工作量
评估	验证模型是否满足业务目标	别只看准确率，要看业务收益
部署	将模型集成到生产环境	这一步最容易翻车，我后面会细讲

1.3 项目生命周期

一个典型的数据挖掘项目，生命周期大概长这样：

1. 启动阶段：确定业务问题、组建团队、制定计划。我个人习惯先问三个问题：数据在哪？数据质量如何？业务方想要什么？
2. 探索阶段：数据采集、EDA（探索性数据分析）、假设生成。这个阶段我建议多画图，少跑模型。
3. 开发阶段：特征工程、模型训练、交叉验证。记住，不要一上来就用深度学习，先试试简单模型。
4. 验证阶段：A/B测试、业务评估、ROI计算。我曾经有个模型准确率95%，但业务方说没用——因为那5%的错误全集中在高价值客户上。
5. 部署阶段：模型上线、监控、迭代。这里要特别注意模型衰减，数据是会变的。

1.4 典型应用场景

说了这么多理论，咱们看看实际场景。数据挖掘的应用太广了，我挑几个最常见的：

• 客户流失预测：电信、银行、SaaS行业都在用。我记得帮一家运营商做这个，特征里「最近3个月投诉次数」这个变量权重特别高。
• 推荐系统：电商、视频、新闻。协同过滤、矩阵分解、深度学习，技术栈一直在变，但核心思想没变——猜你喜欢什么。
• 异常检测：金融风控、工业质检、网络安全。我做过一个信用卡欺诈检测项目，正负样本比例1:1000，那叫一个酸爽。
• 用户画像：精准营销、个性化服务。说白了就是把用户打标签，然后针对性地推东西。
• 时间序列预测：销量预测、股价预测、流量预测。ARIMA、Prophet、LSTM，各有各的适用场景。

你可能会问：「这么多场景，我该从哪个入手？」我的建议是——从你手头的数据出发。别想着一步登天，先解决一个小问题，比如「预测下个月的销售额」，然后慢慢扩展。

好，这一章就到这里。下一章我们聊聊「数据理解与探索」，我会分享一些EDA的实战技巧，包括怎么快速发现数据质量问题。咱们下节课见。