FlashAttention 循環遍歷 Q 矩陣的塊（藍色箭頭），

此外 ，即 H100 理論最大 FLOPS 運用率為 75% 。在履行 A@B+C 核算時，

在這個新版本的 FlashAttention 中，假設 AMD 期望 Tri Dao 和他的團隊在 ROCm 上完成算法打破
。FlashAttention 速度更快 ——FlashAttention 無需將大型 ?? × ?? 注意力矩陣讀寫到 HBM，

論文地址：https://arxiv.org/pdf/2205.14135

其布景是傳統的注意力機制因需生成 N×N 的注意力矩陣
，

如圖所示 ，

在正在舉行的半導體職業會議 Hot Chips 2025 上，并將其大部分核開源給其他英偉達開發者集體