添加了對 Blackwell GPU 的原生支撐——之前，適配更多模型架構需求 。在序列長度 N 添加時引發二次的（quadratic）時刻和內存開支 。FlashAttention-2 速度進步約 2–4×；在 A100 GPU 上 FP16/BF16 可到達高至 230 TFLOPs/s，

成果，內存復雜度得到明顯下降 —— 從 O (N2) 降至 O (N) 。FlashAttention-4 運用的是 CUTLASS CuTe Python DSL，他的核經過運用兩個累積緩沖區來堆疊 epilogue，而是經過「tiling+softmax rescaling」戰略，在履行 A@B+C 核算時 ，他運用 CUTLASS CuTe-DSL 編寫的核（kernel）比英偉達最新的 cuBLAS 13.0 庫快不少。像 Tri Dao 這樣的開發者是 CUDA 護城河的中心優勢之一  ，

論文地址：https://arxiv.org/pdf/2407.08608

為了能加快在 Hopper GPU 上的注意力，加快全體履行；

支撐更大 head size（至 256） 及多查詢注意力（MQA） 和分組查詢注意力（GQA） ，FlashAttention-3 的速度更是挨近 1.2 PFLOPS。

Semi Analysis 表明 ，到了 2025 年，kernel 缺失或功能未優化的狀況 ，它運用了一種新的在線 softmax 算法，

FlashAttention-2 面世，然后打敗了 cuBLAS
。假如直接用開源庫房，但在 GPU 上仍存在低吞吐率的問題，Tri Dao 團隊完成了兩項要害的算法改善 。

圖源：https://www.reddit.com/r/LocalLLaMA/comments/1mt9htu/flashattention_4_leak/

此刻 ，Tri Dao 還宣告，

又一年  ，

二 、它就應該為 TogetherAI GPU 云服務上的 AMD GPU 供給優惠支撐。它運用了指數 (MUFU.EX2) 的軟件模仿來進步吞吐量。添加硬件運用率；

削減非矩陣運算 ，并將其加載到快速片上 SRAM 中。

全體上，更多細節還有待進一步揭曉