FlashAttention
以分块方式计算注意力，避免生成完整矩阵。
概览
FlashAttention 以块为单位计算注意力，这些块能放入快速的片上内存，从不将完整的注意力矩阵写入高带宽内存。它解决了注意力开销主要由内存流量而非算术运算主导的问题，因此数学上完全相同的计算在采用不同调度方式时可以快数倍。它是系统层面的改动在不改变模型的情况下带来大幅加速的最清晰案例。
技术图谱
FlashAttention 如何与技术栈的其他部分相连。
应用于
- Inference concept Infrastructure FlashAttention used for Inference High ✓ source
工具
实现或集成 FlashAttention 的软件。