01
芯片指令集概述
什么是指令集架构（ISA），RISC-V与ARM对比，指令集在大模型推理中的角色。
ISARISC-VARM
02
大模型推理核心算子
矩阵乘法（GEMM）、Softmax、LayerNorm、Attention机制的计算特征。
GEMMSoftmaxAttention
03
指令集适配基础
标量指令与向量指令的区别，SIMD与SIMT架构，数据并行与指令并行的概念。
SIMDSIMT并行
04
向量指令集详解
向量加载/存储指令，向量算术指令，向量归约指令，向量掩码操作。
向量加载归约掩码
05
矩阵乘法指令优化
外积指令（Outer Product），乘累加指令（MAC），张量指令（Tensor Core）的适配策略。
MACTensor Core外积
06
内存层次与指令调度
L1/L2缓存与指令预取，DMA指令与数据搬运，内存对齐对指令效率的影响。
缓存DMA内存对齐
07
量化指令支持
INT8/INT4量化指令，对称量化与非对称量化的指令实现，量化反量化指令序列。
INT8量化反量化
08
稀疏计算指令
稀疏矩阵乘法指令，结构化稀疏与非结构化稀疏，稀疏索引指令。
稀疏结构化索引
09
Attention机制指令优化
QKV投影指令，Softmax指令加速，FlashAttention的指令级支持。
QKVFlashAttention加速
10
激活函数指令
ReLU/GELU/SiLU的指令实现，近似计算指令，查找表指令。
ReLUGELU查找表
11
归一化指令
LayerNorm与RMSNorm的指令序列，归约与广播指令的组合使用。
LayerNormRMSNorm广播
12
数据格式转换指令
FP32/FP16/BF16/FP8之间的转换指令，格式转换的精度与性能权衡。
FP16BF16FP8
13
指令流水线调度
指令发射与乱序执行，指令依赖与数据冒险，软件流水线技术。
流水线乱序冒险
14
循环展开与指令并行
循环展开策略，软件预取，指令级并行（ILP）的极限。
循环展开ILP预取
15
寄存器分配策略
寄存器文件结构，寄存器溢出处理，寄存器重命名对指令适配的影响。
寄存器溢出重命名
16
分支预测与指令控制
条件指令与谓词执行，分支预测器对指令流的影响，无分支编程技巧。
分支预测谓词无分支
17
指令集扩展接口
自定义指令编码，协处理器接口，指令集扩展的验证流程。
自定义协处理器验证
18
编译器后端适配
LLVM后端架构，指令选择（Instruction Selection），指令调度（Scheduling），寄存器分配（Register Allocation）。
LLVM指令选择寄存器分配
19
汇编级优化
手写汇编与内联汇编，关键循环的汇编重写，汇编与C的混合编程。
内联汇编手写混合编程
20
性能分析工具
性能计数器（PMC），指令跟踪（Instruction Trace），瓶颈分析方法。
PMCTrace瓶颈
21
算子库开发
算子库架构设计，算子模板化，算子融合策略。
算子库模板融合
22
推理引擎适配
ONNX Runtime/TensorRT的指令后端，算子注册与替换，图优化与指令生成。
ONNXTensorRT图优化
23
多核并行指令
多核同步指令，原子操作指令，任务分配与负载均衡。
多核原子操作负载均衡
24
内存一致性模型
弱一致性模型与强一致性模型，内存屏障指令，原子内存操作。
一致性内存屏障原子
25
虚拟化与指令隔离
虚拟地址空间与指令执行，安全指令与特权级，指令隔离技术。
虚拟化特权级隔离
26
功耗优化指令
时钟门控指令，电压频率调节指令，功耗感知的指令调度。
时钟门控DVFS功耗感知
27
调试与验证
指令集模拟器，RTL仿真与指令验证，形式化验证方法。
模拟器RTL形式化
28
基准测试与评估
MLPerf推理基准，吞吐量与延迟指标，指令集效率评估。
MLPerf吞吐量延迟
29
前沿指令集技术
可重构指令集，近存计算指令，存内计算指令。
可重构近存计算存内计算
30
综合实战
从模型到指令的全流程适配，端到端性能调优案例，未来趋势与挑战。
全流程调优趋势