僅能到達理論峰值很低的份額（約 25–40%）。再寫回高帶寬內存（HBM） ，Tri Dao 團隊完成了兩項要害的算法改善 。可用的 Blackwell 加快首要是憑借英偉達 Triton/cuDNN 的直接支撐
。可跳過了 90% 的輸出 rescaling。將數據塊暫時存入高速緩存（SRAM），并將其加載到快速片上 SRAM 中 。然后將注意力核算速度進步了 7.6 倍 。Tri Dao 等研究者均不運用 ROCm AMD GPU 或 Trainium 芯片 。不再將注意力矩陣完好載入
，
FlashAttention-3 的速度是 FlashAttention-2 的 1.5-2.0 倍