第4章风控模型推理加速

4. 风控模型推理加速：模型量化（FP16/INT8）、批处理优化、动态形状处理、算子融合

各位同学，今天我们来聊聊风控模型推理加速。说实话，这块内容是我在实际项目中踩坑最多的部分。你想想看，风控场景对延迟的要求有多苛刻？几百毫秒的延迟可能就意味着几百万的损失。所以，推理加速不是锦上添花，而是生死攸关。

4.1 模型量化：从FP32到FP16/INT8

模型量化，说白了就是把模型参数的精度降低。为什么能这么做？因为神经网络对噪声有一定的容忍度。我个人的习惯是，先做FP16量化，如果精度损失在可接受范围内，再尝试INT8。

核心原则：量化后的模型精度损失应控制在0.1%以内，否则需要回退或使用混合精度。

4.1.1 FP16量化

FP16量化是最简单的。你只需要把模型权重从FP32转换成FP16。在NVIDIA的GPU上，Tensor Core对FP16有原生支持，速度提升非常明显。

import torch

# 加载FP32模型
model = torch.load('risk_model_fp32.pth')
# 转换为FP16
model_half = model.half()
# 保存FP16模型
torch.save(model_half.state_dict(), 'risk_model_fp16.pth')

我在项目中遇到过一个问题：某些层的激活值在FP16下会溢出。比如，风控模型中的embedding层，如果词汇量很大，embedding向量的范数可能很大。这时候，我建议对embedding层单独做归一化，或者使用混合精度训练。

4.1.2 INT8量化

INT8量化更复杂，但收益也更大。它需要校准过程，来确定每个张量的缩放因子。

import torch
from torch.quantization import quantize_dynamic

# 动态量化
model_quantized = quantize_dynamic(
    model, 
    {torch.nn.Linear, torch.nn.LSTM}, 
    dtype=torch.qint8
)

注意：INT8量化对风控模型中的异常值非常敏感。我曾经遇到过一个案例，因为某个特征的极端值，导致整个量化后的模型输出全部偏离。解决办法是：在量化前对输入特征做截断处理。

4.2 批处理优化

批处理优化，就是一次处理多个样本。GPU擅长并行计算，批处理能充分利用GPU的计算能力。

但这里有个坑：风控场景的请求往往是稀疏的，不像图像识别那样可以轻松凑齐一个batch。我建议的做法是：

动态批处理：设置一个最大等待时间（比如5ms），在这段时间内收集到的请求组成一个batch。
自适应批大小：根据GPU的显存使用率和计算负载，动态调整batch size。

class DynamicBatcher:
    def __init__(self, max_batch_size=64, max_wait_ms=5):
        self.max_batch_size = max_batch_size
        self.max_wait_ms = max_wait_ms
        self.queue = []
        
    def add_request(self, request):
        self.queue.append(request)
        if len(self.queue) >= self.max_batch_size:
            return self.flush()
        return None
        
    def flush(self):
        batch = self.queue[:self.max_batch_size]
        self.queue = self.queue[self.max_batch_size:]
        return torch.cat(batch, dim=0)

小技巧：在批处理时，注意样本的padding。不同长度的序列padding后，计算量会浪费。我习惯用torch.nn.utils.rnn.pad_sequence配合pack_padded_sequence来减少无效计算。

4.3 动态形状处理

风控模型的输入形状往往是不固定的。比如，用户的行为序列长度可能从1到100不等。动态形状处理，就是让模型能高效处理不同形状的输入。

我个人建议使用以下策略：

设置最大长度：比如，所有序列截断或填充到128的长度。
使用可变长输入：在PyTorch中，使用torch.nn.utils.rnn.pack_padded_sequence。
动态图编译：使用torch.jit.script或torch.compile，让编译器自动处理动态形状。

import torch

# 使用torch.jit.script处理动态形状
@torch.jit.script
def risk_model_forward(input_tensor, lengths):
    # input_tensor: [batch, max_len, feature_dim]
    # lengths: [batch]
    packed_input = torch.nn.utils.rnn.pack_padded_sequence(
        input_tensor, lengths, batch_first=True, enforce_sorted=False
    )
    packed_output, _ = lstm(packed_input)
    output, _ = torch.nn.utils.rnn.pad_packed_sequence(
        packed_output, batch_first=True
    )
    return output

经验之谈：动态形状处理在推理时可能会引入额外的开销。我曾经测试过，使用pack_padded_sequence比直接padding到最大长度，在序列长度差异较大时能节省30%的计算时间。但如果序列长度差异不大，直接padding反而更快。

4.4 算子融合

算子融合，就是把多个连续的计算操作合并成一个。这样做的好处是：减少显存读写，提高计算密度。

常见的算子融合包括：

Conv+BN+ReLU融合：将卷积、批归一化、ReLU合并成一个算子。
Linear+ReLU融合：将全连接层和激活函数合并。
LayerNorm+Add融合：在Transformer中常见。

在PyTorch中，可以使用torch.jit.freeze和torch.jit.optimize_for_inference来自动进行算子融合。

import torch

# 使用torch.jit进行算子融合
model = torch.jit.script(model)
model = torch.jit.freeze(model)
model = torch.jit.optimize_for_inference(model)

注意：算子融合不是万能的。在某些情况下，融合后的算子可能因为寄存器压力反而变慢。我建议在融合后做一次profiling，确认实际加速效果。

4.5 知识体系总览

下面这张图展示了本章节的核心逻辑：从模型量化到算子融合，每一步都是为了减少计算量和显存访问。

我的建议：在实际项目中，不要一上来就做所有优化。先做profiling，找到瓶颈。然后针对性地选择优化手段。比如，如果瓶颈在计算，优先做量化；如果瓶颈在显存带宽，优先做算子融合。

好了，以上就是风控模型推理加速的核心内容。记住，没有银弹。每种优化手段都有其适用场景和代价。你需要根据实际业务需求，权衡精度、延迟和吞吐量。

📚 课程目录

4. 风控模型推理加速：模型量化（FP16/INT8）、批处理优化、动态形状处理、算子融合

4.1 模型量化：从FP32到FP16/INT8

4.1.1 FP16量化

4.1.2 INT8量化

4.2 批处理优化

4.3 动态形状处理

4.4 算子融合

4.5 知识体系总览