4、Ollama模型推理基础：模型加载与卸载、推理参数调优

各位同行，今天我们来聊聊Ollama在汽车电子中的推理基础操作。说实话，这部分内容看着简单，但坑不少。我在几个车载项目里都遇到过因为模型加载不当导致内存泄漏的问题，所以咱们得把基础打扎实了。

4.1 模型加载与卸载：别小看这一步

Ollama加载模型，说白了就是把模型文件从磁盘读到内存里。在汽车电子场景下，内存资源通常比较紧张，所以加载和卸载的策略就特别重要。

我个人习惯用 ollama run 命令来加载模型，但要注意，这个命令默认会保持模型常驻内存。你想想看，如果ECU上同时跑着好几个模型，内存很快就爆了。

# 加载模型（默认常驻内存）
ollama run llama2

# 指定参数加载，限制内存占用
ollama run llama2 --num-ctx 2048 --num-gpu 0

卸载模型呢？我见过不少新手直接关终端，其实这样不对。正确的做法是：

# 方法一：发送退出信号
/bye

# 方法二：API方式卸载
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "keep_alive": "0s"
}'

4.2 推理参数调优：温度、Top-K这些到底怎么调？

好，模型加载完了，接下来就是调参数。这里我重点讲三个：温度（Temperature）、Top-K、Top-P。说白了，它们控制的是模型输出的「随机性」和「多样性」。

参数	作用	汽车电子推荐值
Temperature	控制输出随机性，值越高越随机	0.1 - 0.3（低随机性）
Top-K	只从概率最高的K个token中采样	20 - 40
Top-P	累积概率达到P的token才被考虑	0.8 - 0.95

为什么汽车电子里推荐低温度？你想想看，车载系统里，你肯定不希望模型每次输出都不一样。比如诊断故障码，今天输出P0101，明天输出P0102，那工程师不得疯掉？

我调参时有个习惯：先用默认参数跑一遍，然后逐步降低温度，直到输出稳定为止。具体代码：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "诊断故障码P0101的含义是什么？",
  "options": {
    "temperature": 0.2,
    "top_k": 30,
    "top_p": 0.9
  }
}'

4.3 批处理推理：一次处理多条请求

批处理推理，说白了就是一次喂给模型多条数据，让它一次性处理完。这在汽车电子里特别实用，比如同时处理多个传感器的数据。

Ollama支持批处理，但要注意，不是所有模型都支持。我建议用 num_batch 参数来控制：

# 批处理推理示例
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "分析以下传感器数据：\n1. 温度：85°C\n2. 压力：2.3bar\n3. 转速：3200rpm",
  "options": {
    "num_batch": 3,
    "num_ctx": 4096
  }
}'

这里有个坑：批处理大小不是越大越好。我试过把 num_batch 设成32，结果显存直接爆了。嗯，后来我总结了个经验：批处理大小不要超过模型上下文窗口的1/4。

4.4 流式输出：让用户不用干等

流式输出，就是模型一边生成一边返回结果，而不是等全部生成完再一次性返回。在车载HMI（人机交互）场景下，这个功能特别重要。

你想想看，如果用户问了个问题，系统要等10秒才给出完整回答，体验多差。流式输出可以做到「边说边显示」，用户感觉响应很快。

# 流式输出示例
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "请解释ABS系统的工作原理",
  "stream": true
}'

返回的数据是逐段推送的，每段包含一个 response 字段。我一般在代码里这样处理：

import requests
import json

def stream_inference(prompt):
    url = "http://localhost:11434/api/generate"
    payload = {
        "model": "llama2",
        "prompt": prompt,
        "stream": True
    }
    
    response = requests.post(url, json=payload, stream=True)
    for line in response.iter_lines():
        if line:
            data = json.loads(line)
            if 'response' in data:
                print(data['response'], end='', flush=True)
            if data.get('done', False):
                break

4.5 知识体系总览

说了这么多，咱们用一张图来总结一下本章的核心逻辑：

这张图把咱们今天讲的内容串起来了。从Ollama推理引擎出发，四个核心操作：加载卸载、参数调优、批处理、流式输出，最终都服务于汽车电子的具体场景。

好了，这一章的内容就到这儿。记住，基础操作看似简单，但在车载环境下，每一个细节都可能影响系统的稳定性。多测试、多验证，总没错。