AI模型在边缘设备上的部署趋势、Ollama是什么、为什么选择Ollama进行嵌入式移植、课程目标与学习路径。
🚀 趋势
交叉编译工具链安装、目标板与宿主机网络配置、TFTP/NFS服务搭建、SSH与串口调试。
🛠️ 环境
从GitHub拉取Ollama源码、目录结构解析、核心模块（server、llama.cpp、model）功能说明。
📂 源码
常见嵌入式AI硬件对比（RK3588、Jetson、树莓派5）、算力、内存与存储需求分析、选型建议。
⚡ 硬件
设置环境变量、编写CMake工具链文件、解决依赖库（gflags、protobuf、curl）的交叉编译问题。
🔧 工具链
llama.cpp在嵌入式平台上的编译、量化模型支持（Q4_0、Q5_1）、内存优化技巧。
🧠 核心
server模块的依赖关系、编译选项调整、静态链接与动态链接的选择。
⚙️ 编译
GGUF格式详解、从HuggingFace下载模型、使用convert.py转换为GGUF格式。
📦 模型
量化原理简介、使用llama-quantize工具、不同量化级别对精度和性能的影响。
📉 量化
根文件系统裁剪、模型存储分区规划、OverlayFS用于模型热更新。
💾 存储
编写SysVinit/Systemd服务脚本、设置Ollama开机自启、日志管理。
🚀 启动
Ollama REST API在嵌入式环境中的适配、局域网访问配置、防火墙规则。
🌐 网络
RK3588的NPU驱动安装、OpenCL与Vulkan后端编译、性能对比实测。
🎮 加速
物理内存限制下的Ollama运行策略、ZRAM压缩交换空间配置、OOM Killer防护。
🧩 内存
使用ollama bench进行推理速度测试、内存带宽与延迟分析、调优参数表。
📊 性能
加载多个小模型、请求队列管理、并发推理的锁与资源竞争。
⚡ 并发
集成Prometheus指标、使用htop/iotop监控资源、自定义日志轮转。
📈 监控
非root用户运行Ollama、API鉴权（Token认证）、SELinux/AppArmor策略。
🔒 安全
设计OTA更新机制、差分升级模型文件、回滚策略与版本管理。
📡 OTA
编写嵌入式Dockerfile、多阶段构建减小镜像体积、在容器中运行Ollama。
🐳 容器
编译并部署Open WebUI、配置反向代理（Nginx）、移动端适配。
🖥️ UI
集成Whisper.cpp进行语音识别、TTS引擎选择、端到端语音对话流程。
🎤 语音
移植LLaVA等视觉语言模型、摄像头图像采集与预处理、实时图像描述。
👁️ 视觉
在嵌入式设备上部署向量数据库（Chroma）、文档分块与嵌入、本地RAG查询。
📚 RAG
DVFS调频策略、被动散热设计、温度监控与降频保护。
🌡️ 功耗
Segfault排查、内存泄漏检测（Valgrind）、GDB远程调试。
🐞 调试
需求分析、模型选型（Qwen2.5-1.5B）、系统集成与演示。
🏠 案例
YOLO模型与Ollama结合、实时推理流水线、结果上报MQTT。
🏭 案例
全离线语音交互、自定义唤醒词、技能开发框架。
🗣️ 案例
移植经验总结、Ollama社区生态、边缘AI的发展趋势。
🔭 展望