01
课程导论与背景
FPGA与VLA模型协同计算的行业需求、技术演进路线、课程目标与学习路径。
导论背景
02
FPGA基础回顾
FPGA架构（LUT、FF、BRAM、DSP）、开发流程、常用EDA工具（Vivado、Quartus）。
LUTVivado
03
VLA模型基础
VLA核心思想、典型架构（CLIP、PaLM-E、RT-2）、模型量化与剪枝基础。
CLIP量化
04
协同计算架构设计
异构计算平台拓扑、数据流设计、任务划分策略。
CPU+FPGA+GPU数据流
05
FPGA上的矩阵运算加速
矩阵乘法GEMM、脉动阵列、HLS优化技巧。
GEMMSystolic
06
视觉编码器加速
ViT的FPGA部署、卷积与注意力硬件映射。
ViT注意力
07
语言编码器加速
Transformer Decoder、KV-Cache BRAM优化、Softmax近似。
DecoderKV-Cache
08
动作解码器与控制接口
动作序列生成、EtherCAT/UDP通信、实时性保障。
EtherCAT实时
09
数据流与内存管理
DDR4/HBM2E控制器、数据预取与乒乓、带宽优化。
HBM2E乒乓
10
模型量化与定点计算
INT8/INT4量化、定点数运算单元、精度与性能权衡。
INT8定点
11
模型剪枝与稀疏计算
结构化/非结构化剪枝、稀疏矩阵加速、索引压缩。
剪枝稀疏
12
流水线设计与并行计算
任务级流水线、SIMD、FPGA多核协同。
流水线SIMD
13
片上网络（NoC）与互联
AXI-Stream/Full、NoC设计、带宽延迟分析。
NoCAXI
14
动态重配置技术
部分重配置原理、VLA模型切换、重配置时间优化。
PR动态
15
功耗与散热管理
FPGA功耗模型、DVFS、热管理策略。
DVFS散热
16
仿真与验证平台
RTL仿真、协同仿真、硬件在环HIL测试。
ModelSimHIL
17
调试与性能分析
ILA、性能计数器、瓶颈定位与优化。
ILA性能
18
案例：VLA机器人抓取系统
系统架构、模块划分、FPGA部署流程。
机器人抓取
19
案例：VLA自动驾驶感知
多传感器融合、实时目标检测与路径规划。
自动驾驶融合
20
案例：VLA工业质检系统
高分辨率图像处理、缺陷检测与动作反馈。
质检缺陷
21
软件栈与驱动开发
Linux驱动、Runtime Library、API设计。
驱动API
22
模型编译与工具链
TVM、Vitis AI、自定义编译器思路。
TVMVitis
23
安全性与可靠性
比特流加密、抗SEU、故障恢复机制。
加密SEU
24
性能基准测试
MLPerf、TinyMLPerf、吞吐量/延迟/能效比。
MLPerf基准
25
与GPU/ASIC方案对比
FPGA vs GPU vs ASIC 优劣势分析、选型指南。
对比选型
26
前沿技术趋势
存算一体PIM、光计算、模拟FPGA应用前景。
PIM光计算
27
开源项目与社区资源
FPCNN、FINN等开源项目、社区协作方式。
开源FINN
28
课程总结与项目答辩
关键知识点回顾、项目展示要求、常见问题解答。
总结答辩
29
附录A：FPGA开发板选型
Zynq、Versal、Artix系列对比与外设接口。
ZynqVersal
30
附录B：VLA模型资源与数据集
常用权重、Open X-Embodiment、Bridge Data、预处理工具。
数据集权重