LoRA微调参数高效选择策略

📚 共计 30 章节

LoRA基础概念

什么是LoRA · 核心思想 · 与传统微调区别 · 优势与局限

低秩分解原理

矩阵低秩分解 · SVD分解 · 秩r选择 · 对性能影响

LoRA参数组成

Adapter矩阵A/B · 缩放因子alpha · Dropout · 初始化

秩r的选择策略

小秩与大秩权衡 · 最佳秩范围 · 经验法则

缩放因子alpha调优

alpha与r关系 · 默认值 · 训练稳定性影响

Target Modules选择

Attention vs FFN · QKV矩阵 · 全连接层 · 组合策略

单层 vs 多层适配

仅最后一层 · 适配所有层 · 分层共享

参数预算分配

总参数量控制 · 不同层分配秩 · 重要性分配 · 动态调整

LoRA与全量微调混合

部分层全量 · LoRA+全量 · 渐进式微调

任务特定模块 · 共享模块 · 参数迁移 · 联合训练

多任务迁移

LoRA+ · AdaLoRA · DoRA · PiSSA · LoRA-FA · Delta-LoRA

自适应秩分配 · 重要性评估 · 预算调度 · SVD方法

权重分解 · 方向幅度解耦 · 学习率重参 · 对比LoRA

主成分初始化 · 奇异值引导 · 快速收敛 · 差异分析

初始化收敛

冻结Adapter A · 仅训练B · 参数效率 · 适用场景

Delta-LoRA详解

参数差值学习 · 梯度压缩 · 通信效率 · 分布式优化

分布式压缩

不同学习率 · A/B解耦学习率 · 理论分析 · 实践

学习率解耦

超参数搜索策略

网格搜索 · 随机搜索 · 贝叶斯 · Hyperband · Optuna

调参自动化

学习率调度

LoRA专属学习率 · 余弦退火 · 线性预热 · 循环 · 分层

优化器选择

AdamW vs SGD · 权重衰减 · 梯度裁剪 · 混合精度

优化器训练

数据效率与LoRA

小样本场景 · 数据增强 · 课程学习 · 主动学习

数据小样本

过拟合与正则化

Dropout · 权重衰减 · 早停 · 标签平滑 · 数据扰动

正则化鲁棒

模型评估与验证

下游评估 · 消融实验 · 显著性检验 · A/B测试

LoRA在LLM中的应用

LLaMA · ChatGLM · Qwen · Mistral 微调

LoRA在Diffusion Model

Stable Diffusion · DreamBooth · 风格迁移 · 概念学习

多模态模型中的LoRA

CLIP · BLIP-2 · LLaVA · 图文生成

多模态视觉

LoRA部署与推理优化

权重合并 · 多LoRA切换 · 量化 · vLLM集成

分布式训练中的LoRA

数据并行 · 模型并行 · ZeRO · 通信压缩 · 梯度累积

分布式系统

LoRA的工程实践

实验管理 · 版本控制 · 超参数记录 · 模型卡 · 可复现

LoRA前沿趋势

MoRA · LoRA+MoE · 动态LoRA · 自动化设计 · 展望