第二章：大模型基础入门
说实话，我第一次接触大语言模型时，心里是有点抵触的。做了十几年二进制安全，总觉得这玩意儿跟逆向工程八竿子打不着。直到有一次，我对着一个混淆到亲妈都不认识的函数发呆，随手扔给 GPT 试了试——它居然给我还原出了大概的逻辑。嗯，从那以后，我开始认真研究这东西了。
2.1 核心概念：Token、Transformer、预训练与微调
要搞懂大模型怎么用在二进制分析上，得先明白它吃饭的碗筷是什么。我习惯从三个最基础的概念讲起。
2.1.1 Token：模型的最小理解单位
Token 是什么？说白了，就是模型能看懂的最小碎片。英文里一个单词可能拆成几个 token，中文可能一个字就是一个 token。在二进制分析场景下，一条汇编指令 mov eax, 0x1 可能被拆成 mov、eax、0x1 三个 token。
关键点：Token 数量直接影响模型能处理的上下文长度。我踩过一个坑——把整个反汇编函数塞进去，结果 token 超限被截断了，分析结果完全跑偏。
不同模型的 token 化方式不一样。GPT 系列用 BPE（字节对编码），CodeLlama 针对代码做了优化。你想想看，同样的 0xdeadbeef，在不同模型里可能被切成不同的 token 序列，这会影响模型对地址的理解。
2.1.2 Transformer：让模型学会"看上下文"
Transformer 架构是 2017 年 Google 那篇 "Attention Is All You Need" 论文提出来的。核心就一个词：注意力机制。
我举个例子你就明白了。看这句汇编：
cmp eax, 0x0
jz label
传统模型可能只看到 jz 是个跳转指令。但 Transformer 的注意力机制会让模型注意到 cmp eax, 0x0 这个上下文，从而理解 jz 是在判断 eax 是否为零。这就是"注意力"的威力——它让模型知道该关注哪里。
我的经验：在分析混淆代码时，Transformer 的注意力机制特别有用。它能跨过几十行代码，把分散的跳转逻辑关联起来。我曾经用它还原过一个被控制流平坦化（CFG）混淆的函数，效果比我手动分析快了三倍。
2.1.3 预训练与微调：从"通才"到"专才"
预训练就是让模型在海量数据上"自学成才"。GPT-4 的预训练数据包含互联网文本、代码、论文等等。这时候的模型像个什么都会一点的通才。
微调则是用特定领域的数据，让模型变成专才。比如用大量反汇编代码和对应的 C 语言源码去微调，模型就能学会"把汇编翻译成伪代码"。
| 阶段 | 数据 | 目标 | 我的建议 |
|---|---|---|---|
| 预训练 | 海量通用数据 | 学习语言规律 | 别自己搞，成本太高 |
| 微调 | 领域特定数据 | 适配具体任务 | 值得投入，效果显著 |
注意：微调不是万能的。我曾经试图用 100 个样本微调一个模型来做漏洞检测，结果过拟合得一塌糊涂。微调数据至少要几千条，而且质量比数量重要得多。
2.2 主流模型介绍
现在市面上能用的模型不少，但做二进制分析，我重点关注三个系列。
2.2.1 GPT 系列
GPT-4 是目前最强的通用模型。它的代码理解能力很强，但有个问题——闭源，而且 API 调用成本不低。我个人习惯用它做原型验证，快速测试某个思路是否可行。
比如我想知道某个混淆算法是不是基于 AES 的变种，直接把反汇编代码扔给 GPT-4，它经常能给出靠谱的判断。但如果是处理敏感数据，我不建议用在线 API。
2.2.2 CodeLlama
Meta 开源的 CodeLlama，专门针对代码优化过。它有 7B、13B、34B 三个版本。我本地部署了一个 13B 的，用来做日常的逆向辅助。
CodeLlama 对汇编和 C 的理解都不错。我试过让它给反汇编函数重命名变量，效果比 IDA 的自动命名好不少。它甚至能识别出一些常见的加密算法模式。
2.2.3 StarCoder
StarCoder 是 Hugging Face 牵头搞的开源模型，训练数据包含大量 GitHub 代码。它的优势在于对多种编程语言的支持，包括汇编。
我比较过 CodeLlama 和 StarCoder 在二进制分析任务上的表现。说实话，各有千秋。CodeLlama 对 x86 汇编的理解稍好，StarCoder 在跨语言分析（比如从汇编到 Python 伪代码）上更灵活。
2.3 为什么大模型适合二进制分析
这个问题我琢磨了很久。后来想明白了，三个核心能力正好对应二进制分析的痛点。
2.3.1 模式识别：发现人类容易忽略的规律
二进制代码里有很多模式。比如常见的函数 prologue：
push ebp
mov ebp, esp
sub esp, 0x40
大模型见过几百万次这种模式，一眼就能认出来。更厉害的是，它能识别出变体——比如编译器优化后的 prologue 可能变成 enter 0x40, 0，模型照样认得。
我曾经用模型分析一个被混淆的恶意软件样本。它识别出了 23 个标准库函数的调用模式，而 IDA 的 FLIRT 签名只识别出 15 个。差距就在这里。
2.3.2 代码理解：从"是什么"到"为什么"
传统逆向工具只能告诉你"这段代码做了什么"，但大模型能告诉你"为什么这么做"。比如：
xor eax, eax
mov [ecx], eax
传统工具会说：将 eax 清零，写入 ecx 指向的内存。大模型会说：这是在初始化一个结构体成员，很可能是在清零一个标志位。
核心价值：大模型能理解代码的语义，而不仅仅是语法。这对分析混淆代码、恶意软件特别有用。
2.3.3 生成能力：从反汇编到伪代码
这是我最常用的功能。把汇编代码喂给模型，让它生成 C 风格的伪代码。虽然不能 100% 准确，但能省掉 80% 的手工分析时间。
我举个例子。有一次分析一个固件，里面有一段用 ARM Thumb 指令写的加密函数。手工反编译太痛苦了，我直接把反汇编代码扔给 CodeLlama，它生成的伪代码基本正确，我只改了几处指针类型就搞定了。
这张图总结了大模型在二进制分析中的三个核心能力。你会发现，这三个能力正好对应逆向工程的三个层次：识别、理解、重构。
实用建议：别指望大模型能完全替代人工分析。我的做法是：用模型做粗筛和辅助理解，关键逻辑还是自己过一遍。人机协作才是最高效的方式。
好了，这一章的内容就到这里。记住，大模型是个工具，用好了能让你事半功倍。下一章我们会深入具体的应用场景，看看怎么把模型真正用起来。
公众号:蓝海资料掘金营，微信deep3321