vLLM与LangChain集成开发实战 · 课程目录

01 概述

vLLM与LangChain概述

vLLM简介LangChain简介集成价值环境准备

02核心

vLLM核心概念

PagedAttentionContinuous Batching模型加载推理流程

03核心

LangChain核心概念

ChainAgentToolMemoryCallback

04服务

vLLM服务搭建

OpenAI兼容APImax-model-lengpu-memory-utilization

05集成

LangChain集成vLLM基础

ChatOpenAI对接自定义LLM包装器流式输出

06模板

Prompt模板与vLLM

PromptTemplateFew-shotChatPromptTemplate

07链

LLMChainSequentialChainRouterChain

08RAG

RAG检索增强生成

文档加载文本分割向量存储Chroma/FAISS

09智能体

ReAct AgentFunction Calling自定义Tool

10记忆

Memory记忆系统

ConversationBufferMemorySummaryMemory向量存储记忆

11回调

流式输出与回调

StreamingHandler自定义Callback实时Token生成

12对话

多轮对话系统

对话管理上下文窗口控制历史压缩

13量化

模型量化与部署

AWQ/GPTQvLLM量化支持LangChain调用

14优化

批处理调优Prefix CachingKV Cache优化

15容错

错误处理与重试

API错误码指数退避超时设置

16异步

Async vLLM ClientLangChain异步链高并发

17多模型

多模型管理

实例路由模型热切换负载均衡

18监控

日志与监控

vLLM日志LangSmith性能指标

19安全

安全与鉴权

API Key管理频率限制内容安全

20工具

自定义Tool开发

搜索工具计算工具数据库查询

21工作流

复杂Agent工作流

Plan-and-ExecuteMulti-Agent任务分解

22文档

文档问答系统

PDF解析表格理解MapReduce/Stuff

23代码

代码生成助手

代码补全代码审查单元测试生成

24SQL

SQL自然语言查询

Text-to-SQLSchema注入结果格式化

25API

API服务封装

FastAPI封装Swagger文档健康检查

26Docker

Dockerfiledocker-composeGPU资源

27K8s

Kubernetes部署

K8s部署vLLMHPA扩缩容Ingress

28生产

生产环境最佳实践

参数调优清单配置管理灰度发布

29排查

常见问题排查

OOM错误请求超时输出乱码

30综合

综合项目实战

智能客服系统意图识别知识库检索工单生成

⚡ 点击卡片标题跳转对应章节 ⚡