第一章：课程导论与数据基础

大模型时代的数据挑战

说实话，这两年我接触过的团队，十个里有八个都在做大模型相关的东西。但真正能把模型用好的，少之又少。问题出在哪？不是模型不够强，是数据没跟上。

你想想看，一个百亿参数的大模型，喂进去的是垃圾数据，吐出来的能是什么好东西？我在项目中遇到过好几次这种情况——团队花了几周调模型参数，效果死活上不去。最后查来查去，发现是训练数据里有大量重复和噪声。说白了，数据质量决定了模型的天花板。

大模型时代的数据挑战，我总结下来主要有三点：

• 数据量爆炸——以前做传统NLP，几千条标注数据就够用了。现在？动辄上亿条。怎么存、怎么读、怎么清洗，全是新问题。
• 数据质量参差不齐——网上扒来的数据，什么都有。HTML标签、乱码、广告、重复内容...我曾经处理过一个爬虫数据集，光去重就干掉了40%的数据。
• 数据时效性要求高——大模型的知识截止日期是个硬伤。你让模型回答2024年的新闻，它可能还在用2021年的数据。怎么持续更新知识库？这是个真问题。

知识库核心概念

说到知识库，很多人第一反应就是「不就是存点文档嘛」。嗯，没那么简单。

知识库在大模型应用里，扮演的是「外挂大脑」的角色。模型本身有知识盲区，或者知识过时了，这时候就需要从知识库里检索相关信息，辅助模型生成答案。这个流程，业内叫RAG（Retrieval-Augmented Generation）。

我个人习惯把知识库拆成三个层次来理解：

1. 原始数据层——PDF、Word、网页、数据库...各种格式的原始材料。这一层要解决的是「怎么把非结构化数据变成结构化文本」。
2. 向量化层——把文本转成向量，存到向量数据库里。这里有个坑：不同模型对文本的编码方式不一样，选错了embedding模型，检索效果直接腰斩。
3. 检索与生成层——用户提问后，先从向量库里召回相关片段，再拼进prompt里让大模型回答。这一步的难点在于「怎么拼prompt才能让模型理解上下文」。

课程目标与学习路径

这门课的目标很明确——让你能独立搭建一套生产级的知识库系统。不是那种demo级别的玩具，是能扛住真实业务压力的那种。

具体来说，学完这门课，你应该能做到：

• 理解大模型数据的全生命周期：采集→清洗→标注→存储→检索
• 掌握至少两种向量数据库的部署和使用（我们会重点讲Milvus和FAISS）
• 能独立设计RAG流程，并针对业务场景做优化
• 踩过常见的坑，知道怎么避

学习路径我建议这样走：

阶段	内容	预计时间
第一阶段	数据基础与预处理（第1-5章）	2周
第二阶段	向量化与检索技术（第6-15章）	3周
第三阶段	知识库搭建实战（第16-25章）	3周
第四阶段	优化与生产化（第26-30章）	2周

好，第一章就到这里。下一章我们会正式进入数据采集环节，聊聊怎么从各种来源拿到高质量数据。到时候我会分享一个我踩过的坑——爬虫被反爬机制搞到怀疑人生的那种。嗯，敬请期待。