🚀 嵌入式设备 Ollama 轻量化部署 30章 · 从入门到实战

🎒 友好色系
第 01 章
定义、发展历程、应用场景(智能家居/工业控制/边缘计算)与传统云端AI对比
第 02 章
Ollama是什么、架构设计、模型仓库 (Model Zoo)、量化与轻量化概念
第 03 章
树莓派/Jetson Nano/RK3588/ESP32-S3对比,内存/算力/功耗评估与选型经验
第 04 章
交叉编译工具链、Python虚拟环境、Ollama源码编译(ARM)、依赖库安装
第 05 章
量化原理(FP32→INT8/INT4)、精度与性能权衡、校准数据集、llama.cpp/AutoGPTQ
第 06 章
TinyLlama/Phi-2/Qwen1.5-0.5B/Gemma-2B,模型大小与推理速度平衡
第 07 章
HuggingFace下载、GGUF转换、自定义Modelfile、导入本地仓库
第 08 章
llama.cpp后端配置、线程/批处理调优、KV缓存优化、内存池管理
第 09 章
Ollama REST API详解、Python SDK、流式输出、超时与重试机制
第 10 章
RAG原理、向量数据库(Chroma/FAISS)、文档分块嵌入、查询生成流程
第 11 章
视觉语言模型(LLaVA/Qwen-VL)嵌入式适配、图像预处理、推理管线
第 12 章
推理延迟/吞吐量/内存/功耗监测,Ollama bench与自定义脚本
第 13 章
动态频率缩放(DVFS)、休眠唤醒、被动散热、热节流保护
第 14 章
本地推理数据安全、模型加密存储、访问控制、对抗攻击防护
第 15 章
固件升级策略、模型增量更新、回滚机制、OTA服务器搭建
第 16 章
Docker多阶段构建、cgroups资源限制、K3s轻量Kubernetes
第 17 章
混合推理架构、模型分片、离线/在线切换、数据同步
第 18 章
语音唤醒(Porcupine)、ASR(Whisper.cpp)、TTS(Piper)、端到端管线
第 19 章
目标检测(YOLO-NAS)、图像分类(MobileNet)、OCR(PaddleOCR)、实时视频流
第 20 章
PLC数据采集、Modbus协议、异常检测模型、实时报警系统
第 21 章
设备发现(mDNS)、场景联动规则引擎、语音控制、能耗优化
第 22 章
Prometheus指标、Grafana仪表盘、日志轮转、异常告警
第 23 章
性能分析(perf/valgrind)、内存泄漏检测、模型可视化(Netron)
第 24 章
Ollama启动失败、模型加载慢、推理异常、内存溢出、温度过高
第 25 章
Ollama社区、HuggingFace、Open-WebUI、LangChain集成
第 26 章
需求分析、硬件选型、模型部署、功能测试、完整代码
第 27 章
数据集准备、模型微调、部署优化、Web界面开发
第 28 章
人脸识别、异常行为检测、推送通知、录像存储
第 29 章
端侧大模型、NPU加速、模型压缩(蒸馏/剪枝)、联邦学习
第 30 章
知识体系回顾、学习路径、开源项目清单、职业发展建议