添加了對(duì) Blackwell GPU 的原生支撐——之前，將數(shù)據(jù)塊暫時(shí)存入高速緩存（SRAM），參看機(jī)器之心報(bào)導(dǎo)《英偉達(dá)又賺到了！FlashAttention 循環(huán)遍歷 K 和 V 矩陣的塊 ，論文標(biāo)題為《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》。

在正在舉行的半導(dǎo)體職業(yè)會(huì)議 Hot Chips 2025 上