GGUF在车载边缘计算中的应用实践 · 课程目录

01GGUF与车载边缘计算概述

GGUF格式起源 · 车载边缘计算场景 · GGUF在车端的优势

02车载硬件平台选型

主流车载芯片（Orin、8155、TDA4）· 算力与内存考量 · 功耗与散热约束

03GGUF模型获取与转换

HuggingFace模型下载 · llama.cpp转换工具 · 量化参数选择（Q4_K_M, Q5_K_M）

04车载环境搭建

交叉编译工具链 · ARM架构适配 · CUDA/OpenCL后端选择

05llama.cpp推理库集成

源码编译 · CMake配置 · 动态链接库生成

06C++推理接口封装

模型加载 · 上下文初始化 · 推理循环 · 结果解析

07Python绑定与调用

pyllama.cpp安装 · Python端模型加载 · 流式输出实现

08模型量化实战

Q4_0、Q4_K_M、Q5_K_M、Q8_0对比实验 · 精度与速度权衡

09车载传感器数据预处理

摄像头图像缩放归一化 · 激光雷达点云编码 · CAN总线信号解析

10多模态输入对齐

文本Token化 · 图像Patch嵌入 · 时序数据对齐策略

11推理性能优化

Batch推理 · KV Cache复用 · 异步流水线设计

12内存管理策略

内存池设计 · 显存与内存协同 · 碎片整理

13模型热加载与热更新

动态库重载 · 模型版本管理 · 无缝切换机制

14车载通信中间件集成

DDS（FastDDS/ CycloneDDS）· SOME/IP协议适配 · ZeroMQ轻量方案

15ROS2节点封装

自定义消息类型 · 推理节点生命周期 · 话题发布与订阅

16端到端延迟优化

从传感器到推理输出的全链路延迟分析 · 零拷贝技术

17功能安全与可靠性

看门狗机制 · 故障降级策略 · 模型输出校验

18OTA升级方案

模型差分更新 · 回滚机制 · 升级失败恢复

19多模型协同推理

级联模型 · 模型并行 · 任务调度策略

20车载语音助手实战

语音唤醒 · ASR · LLM对话 · TTS全链路

21车载视觉问答实战

图像编码 · VQA模型推理 · 结果渲染

22车载文档摘要实战

长文本分块 · 摘要模型推理 · 结果聚合

23车载知识库问答实战

向量数据库集成 · RAG流程 · 检索增强生成

24模型安全与隐私

模型加密 · 输入输出过滤 · 数据脱敏

25性能基准测试

推理延迟 · 吞吐量 · 内存占用 · 功耗测量

26车载仿真环境搭建

CARLA/SUMO集成 · 虚拟传感器数据生成

27实车部署与调试

日志系统 · 远程调试 · 性能监控面板

28车载边缘计算与云端协同

混合推理策略 · 模型蒸馏 · 联邦学习

29未来趋势与挑战

端侧大模型 · 稀疏计算 · 存内计算

30综合项目实战

基于GGUF的车载智能助手系统设计与实现