By PetSource Team·Nov 21, 2026

ash Attention  面对的技术难点在于:标准注意力需要把 N \times N 的中间矩阵写入 HBM(高带宽显存,即 GPU 全局显存),序列变长时 HBM 往返量随平方增长;而片上 SRAM(静态随机存取存储器,GPU 流式多处理器内的共享内存)容量通常只有几百 KB,分块之后还要处理跨块 Softmax 归一化、反向传播中的重计算与中间结果保存,以及多算子之间的内核融合与调度。真正的难点不是“把注意力算出来”,而是在 SRAM 容量约束下减少 HBM 与 SRAM 之间的数据搬运,同时保证数值稳定性和训练正确性。

hero-5.jpg

为此,Flash Attention 用一套“IO 感知”的设计直面这个问题:优化数据搬运,而不仅仅是计算本身。本文围绕分块、重新计算、在线Softmax 三大支柱展开,并给出 GPU 内存层次、内核融合与性能基准的量化对照,来解释 Flash Attention 为什么快、为什么省 HBM,以及它是如何一步步推导出来的。  

一、先看硬件:GPU 的内存层次,决定了优化的方向

讨论任何访存优化,都要先看清硬件的账。以 A100 为例,其存储层次自上而下为:寄存器与 L1/共享内存(SMEM)、L2 缓存、HBM。三个层级之间,容量逐级增大、带宽逐级下降:


HBM2e(第二代增强版 HBM):40/80 GB,带宽约 1.5-2 TB/s;


L2 缓存:40 MB,约 5 TB/s;


L1 缓存 / 共享内存:192 KB/SM,约 19 TB/s。


也就是说,片上 SRAM(静态随机存取存储器,GPU 流式多处理器内的共享内存)与 HBM(高带宽显存,即 GPU 全局显存)之间存在约 10 倍的带宽差距。SRAM 快但容量极小——通常只有几百 KB;HBM 容量大但速度慢。一个算子的实际耗时,往往不取决于“算了多少”,而取决于“数据搬运量”。这是 Flash Attention(一种以减少数据搬运为核心的注意力计算优化方法)全部设计的出发点。




二、标准注意力的两个根本问题

————————————————

版权声明:本文为CSDN博主「FlagOS智算系统软件栈」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/qq_41610763/article/details/170983640

Continue reading