🧠 GPU内存 · 带宽优化

🎯 30章从入门到精通

🏆 友好色系 · 一目了然 📘 点击卡片跳转对应章节

GPU内存层次结构全景从全局内存到寄存器，一张图看懂GPU存储金字塔

全局内存 (Global Memory)带宽瓶颈与合并访问 (Coalescing) 原理

共享内存 (Shared Memory)片上高速缓存，手动管理数据复用

寄存器 (Registers)最快的存储，但数量有限，如何避免寄存器溢出

常量内存 (Constant Memory)只读缓存，适合广播数据

纹理内存 (Texture Memory)2D局部性优化，插值与边界处理

本地内存 (Local Memory)寄存器的“备胎”，为何会拖慢性能

L1/L2缓存GPU的自动缓存机制，与CPU缓存的异同

内存带宽计算理论带宽 vs 有效带宽，用nvprof实测

合并访问实战 (AoS→SoA)结构体数组转数组结构体

Bank Conflict (存储体冲突)共享内存的隐形杀手，如何避免

Padding技术在共享内存中加填充，消除Bank Conflict

数据预取 (Prefetching)用计算隐藏内存延迟

异步内存拷贝Stream与双缓冲，让数据传输与计算重叠

统一内存 (Unified Memory)简化编程，但性能陷阱在哪里

页错误与迁移统一内存背后的机制，如何优化数据局部性

内存池 (Memory Pool)自定义分配器，减少cudaMalloc开销

寄存器优化减少寄存器使用量，提升Occupancy

Occupancy与性能多少线程才算够？用CUDA Occupancy Calculator

循环展开 (Loop Unrolling)减少指令开销，提升内存吞吐

向量化加载 (Vectorized Load)使用int4/float4一次读取128位

只读缓存 (Read-Only Cache)__ldg指令与纹理管线的妙用

Warp级别优化Shuffle指令替代共享内存，减少同步

内存延迟隐藏足够的Warp是隐藏延迟的关键

带宽受限 vs 计算受限用Roofline模型分析你的内核

NVIDIA Nsight工具链Profiling内存行为，找到瓶颈

矩阵乘法优化案例从全局内存到寄存器，一步步榨干带宽

Stencil计算优化共享内存与寄存器重用的经典模式

Reduce (归约) 优化避免Bank Conflict与Warp Divergence

课程总结：GPU内存优化Checklist最佳实践与优化清单