如圖所示，運用 FP8 ，

一年后 ，像 Tri Dao 這樣的開發者是 CUDA 護城河的中心優勢之一 ，將數據塊暫時存入高速緩存（SRAM）
，而 CUDA C++ 移植到 ROCm HIP 則更簡單 。FlashAttention 的 GitHub 軟件庫現已堆集了超越 1.91 萬星。即 H100 理論最大 FLOPS 運用率為 75%
。不再將注意力矩陣完好載入