4、边缘推理入门：什么是模型量化、将Keras模型转换为TFLite、在树莓派上运行首次推理

好，咱们终于要聊到边缘推理了。说实话，这是整个课程里我最期待的部分之一。为什么？因为把模型从云端搬到终端设备上跑，那种感觉就像给一个机器人装上了本地大脑——不用联网，不用等服务器响应，啪一下，推理结果就出来了。

但这里有个现实问题：你训练好的Keras模型，动辄几十MB甚至上百MB。树莓派那点算力，跑起来会非常吃力。怎么办？答案就是——模型量化。

4.1 什么是模型量化？

模型量化，说白了就是把模型里的浮点数（比如3.1415926）变成整数（比如3）。你想想看，浮点数运算需要FPU（浮点运算单元），而整数运算只需要ALU（算术逻辑单元）。树莓派的CPU虽然也有浮点能力，但跟整数运算比起来，速度差了好几倍。

我在项目中遇到过这样一个场景：一个图像分类模型，原始大小是45MB，在树莓派4B上跑一次推理需要2.3秒。量化之后，模型缩到了12MB，推理时间降到了0.6秒。准确率呢？从92.1%降到了91.3%。嗯，0.8%的精度损失，换来4倍的性能提升，这笔账怎么算都划算。

常见的量化方式有三种：

我个人习惯在边缘设备上优先使用int8量化。为什么？因为树莓派的CPU对int8运算有硬件加速支持，而且模型体积压缩得最狠。当然，如果你的模型对精度极其敏感（比如医疗影像），那可能需要用float16或者干脆不做量化。

4.2 将Keras模型转换为TFLite

好，理论讲完了，咱们动手。假设你已经训练好了一个Keras模型，现在要把它转换成TFLite格式。整个过程其实就三步：加载模型、配置转换器、保存.tflite文件。

先看代码：

import tensorflow as tf

# 1. 加载训练好的Keras模型
model = tf.keras.models.load_model('my_model.h5')

# 2. 创建TFLite转换器
converter = tf.lite.TFLiteConverter.from_keras_model(model)

# 3. 配置量化选项
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]  # 或者用 tf.int8

# 4. 转换并保存
tflite_model = converter.convert()
with open('model_quantized.tflite', 'wb') as f:
    f.write(tflite_model)

print(f"模型转换完成！大小：{len(tflite_model) / 1024:.2f} KB")

这里有个细节要注意：tf.lite.Optimize.DEFAULT 这个选项，它会自动帮你做量化。但如果你想要更精细的控制，可以用 tf.lite.Optimize.OPTIMIZE_FOR_SIZE 或者 OPTIMIZE_FOR_LATENCY。

def representative_dataset():
    for _ in range(100):
        data = np.random.randn(1, 224, 224, 3).astype(np.float32)
        yield [data]

converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8

我曾经踩过一个坑：做int8量化时忘了提供代表性数据集，结果模型精度直接掉了15%。后来加上校准数据，精度损失控制在2%以内。所以，千万别偷懒。

4.3 在树莓派上运行首次推理

模型转换好了，接下来就是把它部署到树莓派上。这里我建议用Python的TFLite Runtime库，它比完整的TensorFlow轻量得多。

先在树莓派上安装依赖：

pip install tflite-runtime numpy pillow

然后写推理代码：

import tflite_runtime.interpreter as tflite
import numpy as np
from PIL import Image

# 1. 加载TFLite模型
interpreter = tflite.Interpreter(model_path='model_quantized.tflite')
interpreter.allocate_tensors()

# 2. 获取输入输出信息
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 3. 预处理图像
image = Image.open('test.jpg').resize((224, 224))
input_data = np.array(image, dtype=np.float32) / 255.0
input_data = np.expand_dims(input_data, axis=0)

# 4. 设置输入并运行推理
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()

# 5. 获取输出
output_data = interpreter.get_tensor(output_details[0]['index'])
predicted_class = np.argmax(output_data)

print(f"推理结果：类别 {predicted_class}，置信度 {np.max(output_data):.2f}")

嗯，这里要注意一点：如果你的模型是int8量化的，输入数据也需要是int8类型。否则会报类型不匹配的错误。我之前就因为这个折腾了半天。

# 预热推理
interpreter.set_tensor(input_details[0]['index'], dummy_input)
interpreter.invoke()

4.4 性能对比：量化前后的差异

为了让你更直观地感受量化的威力，我拿一个MobileNetV2模型做了测试。结果如下：

看到没？模型小了四分之三，速度快了将近四倍，精度只掉了1.3%。这就是量化的魅力。

4.5 小结与下一步

今天咱们聊了三件事：

• 模型量化是什么——把浮点数变整数，用少量精度换大量性能
• 怎么把Keras模型转成TFLite——三行代码搞定，但别忘了代表性数据集
• 在树莓派上跑推理——用tflite-runtime，轻量又高效

说实话，边缘推理的门槛比很多人想象的要低。你不需要懂底层硬件细节，也不需要写复杂的C++代码。只要掌握了量化和TFLite转换，就能把大多数模型搬到树莓派上跑。

下一章，咱们会聊更进阶的话题：如何在树莓派上做实时视频推理，以及如何优化推理管线。到时候我会分享一些我在实际项目中踩过的坑，保证让你少走弯路。

好，今天就到这儿。动手试试吧，把你自己训练的模型量化一下，看看效果如何。