模型能力边界认知：各模型的上下文窗口长度、推理能力、指令遵循能力、多模态支持能力的对比分析
做提示词工程这么久，我越来越觉得一个道理：不了解模型的边界，就像蒙着眼睛开车。
你写出来的提示词再漂亮，模型接不住，那也是白搭。今天我们就来聊聊，各大主流模型到底能干什么、不能干什么。说白了，就是摸清它们的底牌。
上下文窗口长度：你能记住多少事？
上下文窗口，就是模型一次能“看到”多少内容。我习惯把它比作模型的短期记忆。
你想想看，如果你跟模型聊到第50页的文档，它却把第1页的内容忘光了，那还怎么干活？
| 模型 | 上下文窗口 | 我的实际感受 |
|---|---|---|
| GPT-4 Turbo | 128K tokens | 处理整本小说没问题，但长上下文时注意力会分散 |
| Claude 3 Opus | 200K tokens | 长文档理解能力极强，我常用它分析技术白皮书 |
| Gemini 1.5 Pro | 1M tokens | 目前最长，但实际效果还在验证中 |
| Llama 3 70B | 8K tokens | 短小精悍，适合对话场景 |
| Qwen 72B | 32K tokens | 中文长文本处理表现不错 |
我曾经踩过的坑： 有次我用GPT-4处理一份128K的合同，结果模型在中间部分开始胡言乱语。后来我才明白，长上下文不等于长上下文有效。模型在中间段的注意力会衰减，这叫“迷失在中间”现象。
所以我的建议是：关键信息放在开头和结尾。中间部分，模型容易走神。
推理能力：谁更会“动脑子”？
推理能力，说白了就是模型能不能做逻辑题、数学题、代码题。我测试过不少模型，差距真的挺大。
- GPT-4 Turbo：推理能力顶尖，尤其是多步推理。我让它解过一道复杂的概率题，步骤清晰得让我惊讶。
- Claude 3 Opus：逻辑严谨，但有时过于谨慎。我让它分析一段有歧义的代码，它居然给出了三种可能的解释。
- Gemini 1.5 Pro：推理能力不错，但偶尔会犯低级错误。比如把“3+5”算成“7”。
- Llama 3 70B：开源模型里的佼佼者，但跟闭源模型比还是有差距。
- Qwen 72B：中文推理能力很强，尤其是数学题。我试过让它解高考数学题，正确率挺高。
我的小技巧： 如果你需要模型做复杂推理，试试用“思维链”提示。比如加上“请一步步思考”这句话，效果会好很多。
指令遵循能力：你说什么，它听不听？
指令遵循能力，就是模型能不能严格按照你的要求来。我遇到过不少模型，你说“不要用列表”，它偏给你列个123。
为什么会这样？说白了，模型对指令的理解深度不一样。
| 模型 | 指令遵循能力 | 我的测试案例 |
|---|---|---|
| GPT-4 Turbo | ★★★★★ | 让它用JSON格式输出，几乎从不跑偏 |
| Claude 3 Opus | ★★★★☆ | 有时会过度解释，但核心指令执行得很好 |
| Gemini 1.5 Pro | ★★★☆☆ | 偶尔会忽略部分指令，尤其是多指令时 |
| Llama 3 70B | ★★★☆☆ | 简单指令没问题，复杂指令容易出错 |
| Qwen 72B | ★★★★☆ | 中文指令遵循得很好，英文稍弱 |
避坑指南： 我曾经让一个模型“用三句话总结文章”，结果它写了五句。后来我改成“请用三句话，每句话不超过20个字”，效果就好了。指令越具体，模型越听话。
多模态支持能力：能看、能听、能说吗？
多模态，就是模型能不能处理图片、音频、视频。嗯，这里要注意，不是所有模型都支持。
- GPT-4 Turbo：支持图片输入（视觉），但不支持生成图片。我常用它分析图表，效果不错。
- Claude 3 Opus：支持图片输入，但不支持音频。我试过让它分析一张电路图，它居然能看懂。
- Gemini 1.5 Pro：支持图片、音频、视频。这是它的强项，我试过让它分析一段视频，它能描述出关键帧。
- Llama 3 70B：纯文本模型，不支持多模态。
- Qwen 72B：支持图片输入，但效果一般。我试过让它识别一张表格，结果它把数字看错了。
我的建议： 如果你需要处理多模态数据，首选Gemini。如果你只需要文本分析，GPT-4或Claude就够了。别为了多模态功能牺牲文本质量。
总结：怎么选模型？
说实话，没有完美的模型。每个模型都有自己的长处和短板。我的经验是：
- 长文档处理：选Claude 3 Opus或Gemini 1.5 Pro
- 复杂推理：选GPT-4 Turbo
- 严格遵循指令：选GPT-4 Turbo
- 多模态任务：选Gemini 1.5 Pro
- 中文场景：选Qwen 72B
- 开源需求：选Llama 3 70B
你想想看，如果你选错了模型，再好的提示词也白费。所以，了解模型边界，是提示词工程师的第一课。
我个人习惯是，每次接到新任务，先花10分钟测试模型的能力边界。比如扔一个长文档、一个复杂推理题、一个多模态任务。这样心里就有底了。
好了，今天就聊到这里。下一章我们聊聊怎么根据模型特点，设计不同的提示词策略。