本地大模型能做什么
课程目标与路径
CPU/GPU/内存/硬盘
NVIDIA vs AMD vs Apple
Win/Linux/macOS
WSL2 配置
Python 3.10+
Git & CMake
NVIDIA 驱动安装
CUDA Toolkit
cuDNN 配置
环境变量验证
Docker Compose
PyTorch 镜像
Dockerfile 定制
文件/端口映射
venv & conda
requirements.txt
PyTorch/Transformers
torch.cuda验证
平台介绍
transformers/datasets
pipeline 快速加载
缓存管理
.bin/.pt 权重
GGUF 格式
Safetensors
HF & ModelScope
源码下载
CPU/GPU 编译
quantize 工具
命令行推理
Linux/macOS/Win
pull/run/list/rm
Modelfile 自定义
REST API 调用
项目介绍与安装
models.yaml
llama.cpp/whisper
API 兼容测试
安装与依赖
PagedAttention
OpenAI API 服务
吞吐量测试
一键安装脚本
模型加载/卸载
LoRA/QLoRA
聊天与生成
安装与核心概念
LLM/ChatModel
Ollama/LocalAI
RAG 链构建
ChromaDB/FAISS
Text Splitters
Embedding 模型
知识库问答
项目介绍
Docker 部署
连接 Ollama
用户管理
INT8/INT4/NF4
llama.cpp 量化
AWQ & GPTQ
效果评估
LoRA 原理
PEFT 微调
数据集准备
合并与导出
Flask/FastAPI
请求/响应设计
SSE 流式输出
鉴权与限流
LLaVA 图片理解
Qwen-VL 视频理解
多模态简介
API 调用示例
Whisper 语音转文字
Coqui / Edge TTS
语音对话机器人
本地部署
张量并行
流水线并行
DeepSpeed/Accelerate
多GPU负载均衡
nvidia-smi 监控
延迟与吞吐量
vLLM vs llama.cpp
瓶颈分析
本地数据安全
模型完整性校验
API 访问控制
敏感信息过滤
Git LFS
MLflow Registry
自动化测试
模型热更新
NVIDIA Jetson
RK3588 NPU
ONNX/TensorRT
功耗与性能
协议格式解析
路由转发
流式/非流式
多模型负载均衡
PDF/Word/Markdown
混合检索
Reranker 集成
对话记忆管理
ReAct 模式
Function Calling
工具调用评估
自动化工作流
硬件采购对比
电费与散热
云GPU vs 本地
团队协作规划