FFT · CNN 融合加速
📘 30章 实战课程
v1.0
1
课程导论
· 背景与挑战
FFT与CNN融合的背景、意义与挑战。
2
傅里叶变换基础
· 连续到离散
从连续傅里叶变换到离散傅里叶变换。
3
快速傅里叶变换
· Cooley-Tukey
Cooley-Tukey算法原理与蝶形运算。
4
FFT的Python实现
· 基2-FFT
手动实现基2-FFT算法。
5
卷积神经网络基础
· 卷积/池化/全连接
卷积层、池化层、全连接层原理。
6
频域卷积定理
· 时域卷积=频域乘积
时域卷积等于频域乘积的数学证明。
7
为什么在频域做卷积？
· 复杂度分析
计算复杂度分析与对比。
8
FFT加速前置条件
· 填充与重叠保留
输入填充与重叠保留法。
9
重叠保留法详解
· 分块与边缘消除
分块处理与边缘效应消除。
10
PyTorch FFT算子
· torch.fft模块
torch.fft模块详解。
11
单层卷积FFT加速
· 时域→频域流程
从时域到频域的完整流程。
12
多通道卷积FFT加速
· 维度变换
处理输入与输出通道的维度变换。
13
Batch处理与FFT
· 批量数据高效处理
如何高效处理批量数据。
14
性能对比实验
· FFT vs im2col
FFT加速 vs 传统im2col方法。
15
FFT加速局限性
· 小卷积核&内存
小卷积核与内存开销问题。
16
Winograd算法
· 加速小卷积核
另一种加速小卷积核的利器。
17
FFT vs Winograd
· 如何选择
何时选择FFT，何时选择Winograd。
18
模型部署中的FFT
· ONNX & TensorRT
ONNX导出与TensorRT优化。
19
硬件加速基础
· GPU与FPGA
GPU与FPGA上的FFT实现差异。
20
cuFFT库实战
· GPU高效FFT
在GPU上高效调用FFT。
21
FFT与CNN融合设计
· 频域注意力
频域注意力机制。
22
频域注意力机制
· FcaNet & GFNet
FcaNet与GFNet原理剖析。
23
傅里叶特征与位置编码
· Transformer
在Transformer中的应用。
24
混合域模型
· 时域频域融合
时域与频域特征的融合策略。
25
实战项目1
· FFT加速图像分类
基于FFT加速的图像分类模型。
26
实战项目2
· 频域注意力目标检测
频域注意力机制在目标检测中的应用。
27
实战项目3
· 实时语音识别FFT
实时语音识别中的FFT加速。
28
模型压缩与FFT
· 频域剪枝量化
频域剪枝与量化技术。
29
前沿进展
· 自适应FFT
自适应FFT与可学习傅里叶变换。
30
课程总结与展望
· FFT+CNN下一站
FFT+CNN的下一站。