AI推理基础：神经网络核心概念与量化定点数

各位同学，今天我们来聊聊AI推理的基础。说实话，很多刚入行的朋友一上来就追着最新的模型跑，结果发现FPGA上根本跑不动。为什么？因为基础没打牢。我个人习惯，做任何加速方案前，先把神经网络那几个核心算子吃透——卷积、池化、全连接，再加上量化定点数。这四样东西，是FPGA加速AI推理的基石。

卷积：AI推理的“主力运算”

卷积是什么？说白了，就是一个“滑动窗口”的乘加运算。你想想看，一张图片输入进来，我们用一个小的滤波器（也叫卷积核）在图片上滑来滑去，每滑到一个位置，就把对应位置的像素值和卷积核的权重相乘，然后全部加起来。这个结果，就是输出特征图上的一个点。

我在项目中遇到过一个问题：卷积层的计算量占了整个网络的90%以上。所以，FPGA加速的重点，就是怎么把卷积算得快、算得准。

卷积有几个关键参数，我列个表给你看：

参数	含义	我的经验
输入通道数（C_in）	输入特征图的深度	比如RGB图像就是3通道
输出通道数（C_out）	用了多少个卷积核	每个核生成一张输出特征图
卷积核大小（K）	一般是3x3或5x5	3x3最常用，硬件实现也最友好
步长（Stride）	每次滑动的像素数	步长2会让输出尺寸减半
填充（Padding）	输入边缘补零	保持输出尺寸不变时常用

嗯，这里要注意：卷积的计算量是 C_out × C_in × K × K × H_out × W_out。这个数字很容易爆炸。比如一个224x224的输入，64个3x3卷积核，一次卷积就要算将近10亿次乘加。所以FPGA上我们得用并行计算，一个时钟周期算多个乘加。

池化：降维与特征提取

池化层，很多人觉得它简单，不就是取个最大值或者平均值嘛。没错，但它在硬件实现上有个坑——数据流控制。

池化有两种主流方式：

• 最大池化（Max Pooling）：取窗口内的最大值。我习惯用比较器链来实现，延迟小。
• 平均池化（Average Pooling）：取窗口内的平均值。需要做除法，但可以用移位代替（如果窗口大小是2的幂）。

我曾经在项目里犯过一个低级错误：池化窗口是2x2，步长也是2，但我忘了处理边界情况，结果输出尺寸算错了。后来我加了一个边界检查逻辑，才把问题解决。

池化层的好处很明显：

• 减少特征图尺寸，降低后续计算量
• 提供一定的平移不变性
• 没有需要训练的权重，硬件实现简单

全连接：参数大户

全连接层，说白了就是一个矩阵乘法。输入向量和权重矩阵相乘，再加上偏置。它的计算量其实不大，但参数数量惊人。

举个例子：一个全连接层，输入1024个神经元，输出512个神经元。那么权重矩阵就是1024×512，大约50万个参数。如果每个参数是32位浮点数，那就是2MB的存储。在FPGA上，这通常得用外部DDR来存。

我个人的经验是：全连接层尽量放在网络的最后几层。因为前面的卷积层已经把特征提取好了，全连接层只是做分类决策。而且，全连接层对量化误差比较敏感，我建议用更高的精度来算。

量化与定点数基础

好了，终于到了重头戏。量化，就是把浮点数变成定点数。为什么要这么做？因为FPGA上的DSP单元做定点乘加比浮点快得多，而且省资源。

量化有两种主流方案：

1. 对称量化：把浮点范围映射到[-127, 127]（8位有符号整数）。零点就是0。
2. 非对称量化：把浮点范围映射到[0, 255]（8位无符号整数）。零点可以不是0。

我一般用对称量化，因为硬件实现简单。公式是这样的：

// 量化公式
q = round(r / scale)
// 反量化公式
r = q * scale

// 其中 scale = max(|r|) / 127

嗯，这里要注意：量化会引入误差。误差大小取决于两个因素：

• 数据的动态范围：范围越大，量化步长越大，误差越大
• 量化位宽：位宽越高，精度越高，但资源消耗也大

我在项目中做过一个实验：把ResNet-50从32位浮点量化到8位定点，精度只掉了0.5%，但推理速度提升了3倍。这就是量化的魅力。

知识体系总览

为了让你更直观地理解这些概念之间的关系，我画了一张图：

这张图把今天讲的内容串起来了。你看，卷积、池化、全连接是神经网络的三驾马车，而量化定点数则是让它们能在FPGA上高效运行的“催化剂”。

最后，我想说一句：别小看这些基础概念。我见过太多人，模型跑通了就觉得自己懂了，结果一到硬件实现就卡壳。把基础打牢，后面的路才会越走越宽。

---

公众号:蓝海资料掘金营，微信deep3321