📚 知识库实战
30章 · 从入门到部署
🧩 大模型数据处理 · 知识库搭建
第01章
课程导论与数据基础
大模型数据挑战
知识库核心
学习路径
第02章
数据采集与获取
公开数据集
网络爬虫
API接口
版权合规
第03章
数据清洗与预处理
缺失值处理
异常值检测
去重
标准化
第04章
文本数据解析
PDF解析
Word文档
HTML/Markdown
JSON/CSV
第05章
数据标注与质量评估
人工标注
自动化标注
一致性检验
质量指标
第06章
数据增强技术
文本回译
同义词替换
随机插入
大模型生成
第07章
数据存储与管理
MySQL
MongoDB
向量数据库选型
第08章
知识库架构设计
通用/垂直
知识表示
分层设计
第09章
文本向量化基础
Word2Vec/GloVe
Sentence-BERT
维度权衡
第10章
Embedding模型实战
OpenAI API
HuggingFace
本地部署
第11章
向量数据库入门
Milvus安装
集合与索引
插入检索
第12章
向量检索技术
ANN搜索
HNSW原理
参数调优
第13章
知识库文档切分
固定大小切分
语义切分
重叠策略
第14章
知识库索引构建
倒排+向量索引
元数据过滤
更新策略
第15章
RAG技术原理
检索增强流程
Query改写
检索生成协同
第16章
LangChain框架入门
核心组件
Chain/Agent
Hello World
第17章
LangChain文档加载器
PDFLoader
CSVLoader
WebBaseLoader
第18章
LangChain文本分割器
CharacterTextSplitter
TokenTextSplitter
MarkdownHeader
第19章
LangChain向量存储集成
FAISS
Chroma
Milvus集成
第20章
LangChain检索器实战
VectorStoreRetriever
MultiQuery
压缩检索
第21章
Prompt工程与知识库问答
模板设计
Few-Shot
上下文注入
第22章
知识库问答系统实战
完整问答流程
流式输出
会话记忆
第23章
知识库更新与维护
增量更新
版本控制
一致性检查
第24章
知识库性能优化
缓存机制
并发检索
索引优化
硬件加速
第25章
多模态知识库
图片文本混合
OCR集成
多模态Embedding
第26章
知识库安全与权限
数据加密
访问控制
审计日志
隐私保护
第27章
知识库评估体系
Recall/Precision
BLEU/Rouge
用户满意度
第28章
企业级知识库部署
Docker容器化
Kubernetes
高可用架构
第29章
知识库与Agent结合
ReAct模式
工具调用
Agent记忆
第30章
课程总结与未来展望
知识库趋势
大模型+知识图谱
学习资源