而 CUDA C++ 移植到 ROCm HIP 則更簡(jiǎn)單 。參看機(jī)器之心報(bào)導(dǎo)《英偉達(dá)又賺到了 ！Tri Dao 等研究者均不運(yùn)用 ROCm AMD GPU 或 Trainium 芯片。常常會(huì)遇到編譯過(guò)錯(cuò) 、那么，

此外 ，他運(yùn)用 CUTLASS CuTe-DSL 編寫(xiě)的核（kernel）比英偉達(dá)最新的 cuBLAS 13.0 庫(kù)快不少。想要在 Blackwell 上跑 FlashAttention，并將注意力核算的輸出寫(xiě)回 HBM 。僅能到達(dá)理論峰值很低的份額（約 25–40%）。能夠看到，AMD 具有滿(mǎn)足的現(xiàn)金 ，Tri Dao 這一次的姓名掛在最終。Tri Dao 提出的處理戰(zhàn)略包含