金融RAG结合大模型落地实战
📚 共计 30 章节
01
金融RAG概述
什么是RAG · 为什么金融行业需要RAG · RAG vs 传统搜索 vs 纯大模型
概念
对比
02
金融数据特征
非结构化数据(研报、公告、新闻)· 结构化数据(行情、财报)· 时效性与合规
数据
合规
03
向量数据库选型
FAISS · Milvus · Pinecone · Weaviate 对比,金融场景选择标准
向量库
选型
04
文档解析与清洗
PDF解析(PyMuPDF、pdfplumber)· OCR(PaddleOCR)· 表格提取· 乱码处理
解析
清洗
05
文本分块策略
固定长度分块 · 语义分块 · 递归分块 · 金融长文档分块优化
分块
策略
06
Embedding模型选择
OpenAI Embedding · BGE · M3E · 金融领域微调Embedding对比
向量
模型
07
向量索引构建
IVF · HNSW · PQ索引原理,在Milvus中构建金融知识库索引
索引
Milvus
08
检索策略(上)
相似度检索(余弦、欧式、内积)· Top-K选择 · 阈值过滤
检索
相似度
09
检索策略(下)
混合检索(向量+关键词)· 重排序(Cross-Encoder)· MMR多样性
混合检索
重排序
10
大模型选型
GPT-4 · Claude · 文心一言 · 通义千问 · 金融微调模型(FinBERT等)
LLM
选型
11
Prompt工程基础
角色设定 · 任务描述 · 格式控制 · 少样本学习
Prompt
基础
12
金融场景Prompt优化
财报分析Prompt · 风险预警Prompt · 合规问答Prompt
金融
优化
13
RAG Pipeline搭建
LangChain框架入门 · LCEL表达式 · Chain构建
Pipeline
LangChain
14
Query改写与扩展
假设文档嵌入(HyDE)· 多查询生成 · 查询分解
改写
扩展
15
上下文窗口管理
Token计数 · 滑动窗口 · 摘要压缩 · Map-Reduce策略
窗口
压缩
16
金融知识图谱融合
实体识别(NER)· 关系抽取 · 图数据库(Neo4j)与RAG结合
知识图谱
Neo4j
17
多模态RAG
图表理解(GPT-4V)· 表格问答 · 研报图文联合检索
多模态
图文
18
评估体系
检索评估(Recall、MRR、NDCG)· 生成评估(BLEU、ROUGE、GPT评估)
评估
指标
19
RAGAS框架
端到端评估 · faithfulness · answer_relevancy · context_precision
RAGAS
评估
20
幻觉检测与缓解
事实一致性检查 · 外部知识验证 · 置信度校准
幻觉
缓解
21
缓存策略
语义缓存 · 时间衰减缓存 · 金融数据更新频率管理
缓存
策略
22
流式输出与交互
SSE实现 · 打字机效果 · 中间结果展示
流式
SSE
23
安全与合规
数据脱敏 · 权限控制 · 审计日志 · 金融监管(个人信息保护法)
安全
合规
24
系统架构设计
微服务架构 · 异步处理 · 高可用设计 · 金融级SLA保障
架构
高可用
25
性能优化
索引优化 · GPU加速 · 批处理 · 连接池管理
性能
优化
26
监控与日志
链路追踪(OpenTelemetry)· 指标监控(Prometheus)· 日志分析(ELK)
监控
日志
27
A/B测试与灰度发布
实验设计 · 流量切分 · 效果对比 · 回滚机制
A/B
灰度
28
金融场景实战(一)
智能研报问答系统 —— 从数据采集到部署
实战
研报
29
金融场景实战(二)
实时风险舆情监控 —— 多源数据融合与告警
实战
舆情
30
金融场景实战(三)
合规审查助手 —— 文档比对与条款核查
实战
合规