🚀 本地大模型·进阶
30章 完全实战
✨ 友好色系
01
本地大模型生态全景
Llama·Qwen·Mistral对比 · 硬件选型 · llama.cpp/Ollama/vLLM概览
02
Ollama深度实战
模型拉取·Modelfile定制·REST API·多模型管理
03
llama.cpp核心原理
GGUF解析·量化Q4_K_M/Q8_0·CPU/GPU混合·性能调优
04
vLLM高性能推理
PagedAttention·连续批处理·张量并行·生产级API
05
LangChain框架入门
Models·Prompts·Chains·LCEL·本地模型集成
06
RAG检索增强生成
Embedding选型·Chroma/FAISS/Milvus·文档分割
07
高级RAG技术
HyDE·RAPTOR·Self-RAG·多模态RAG
08
Agent智能体开发
ReAct·Function Calling·AutoGen·CrewAI
09
Function Calling实战
工具调用·JSON Schema·OpenAI兼容适配
10
模型微调基础
LoRA/QLoRA·Alpaca格式·LLaMA-Factory·Axolotl
11
微调进阶
DPO偏好优化·多轮对话·领域适应(代码/医疗/法律)
12
模型评估体系
MMLU·HumanEval·lm-evaluation-harness·人工评估
13
提示工程进阶
CoT·ToT·DSPy自动优化·结构化输出
14
多模态大模型
LLaVA·Qwen-VL·图像理解·视频分析
15
模型量化与部署
AWQ/GPTQ·TensorRT-LLM·ONNX·边缘端
16
流式输出与WebSocket
SSE·实时对话·长连接·前端流式渲染
17
上下文窗口扩展
RoPE·NTK-aware·YaRN·长文本策略
18
知识图谱增强
GraphRAG·Neo4j·实体关系抽取·图查询
19
模型安全与对齐
红队测试·越狱防御·内容过滤·RLHF
20
缓存与加速
KV Cache·RadixAttention·推测解码
21
分布式推理
TP/PP/DP·流水线并行·DeepSpeed·多机
22
API网关与负载均衡
Nginx反向代理·速率限制·高可用
23
监控与日志
Prometheus·Grafana·OpenTelemetry·告警
24
CI/CD与MLOps
DVC·自动化测试·A/B测试·灰度发布
25
私有化部署方案
内网穿透·离线部署·模型加密·许可证
26
成本优化
Spot实例·模型蒸馏·混合精度·按需扩缩容
27
法律与合规
Apache 2.0·MIT·Llama 2·GDPR·合规审计
28
行业案例实战
智能客服·代码助手·文档分析·知识库问答
29
性能基准测试
吞吐量·首token延迟·并发·硬件消耗对比
30
未来趋势与前沿
Mamba·MoE·Agentic Workflow·端侧大模型