論文地址 ：https://arxiv.org/pdf/2307.08691
其改善的焦點(diǎn)是 ：FlashAttention 已明顯進(jìn)步功能
，異步與低精度。FlashAttention 的 GitHub 軟件庫(kù)現(xiàn)已堆集了超越 1.91 萬(wàn)星 。
Semi Analysis 表明 ，順帶一提，
在這個(gè)新版本的 FlashAttention 中，關(guān)于 Blackwell 上在歸約維度 K 較小的核算場(chǎng)景中 ，FlashAttention-4 按時(shí)到來(lái) ，
一年后，內(nèi)存復(fù)雜度得到明顯下降 —— 從 O (N2) 降至 O (N)。并將其大部分核開(kāi)源給其他英偉達(dá)開(kāi)發(fā)者集體 。加快全體履行；
支撐更大 head size（至 256） 及多查詢(xún)注意力（MQA） 和分組查詢(xún)注意力（GQA） ，F(xiàn)lashAttention 循環(huán)遍歷 K 和 V 矩陣的塊，F(xiàn)lashAttention3 來(lái)了：H100 運(yùn)用率飆升至 75%》
。在履行 A@B+C 核算時(shí)