受DeepSeek新品發(fā)布帶動(dòng) ,F(xiàn)P8是什么?而DeepSeek推出的“UE8M0 FP8”又有何作用?關(guān)于國產(chǎn)人工智能來說,
研究者們還測驗(yàn)了混合精度練習(xí)——要害核算(如梯度更新)保存 FP32 ,即8位浮點(diǎn)數(shù)。一起經(jīng)過尾數(shù)保存要害精度
。這兒的“U”是un-signed
,存儲(chǔ)占用越小
、
結(jié)合上述論說:FP8的實(shí)質(zhì)是用8 bit(8個(gè)二進(jìn)制位)拆分紅“符號(hào)+指數(shù)+尾數(shù)”,現(xiàn)在再來了解DeepSeek此次引進(jìn)的“UE8M0 FP8”就非常直觀,顯存占用折半,下一代國產(chǎn)芯片很可能會(huì)有針對性的硬件規(guī)劃
。這是練習(xí)GPT等級(jí)大模型時(shí)極具吸引力的優(yōu)勢。
而在官方推文中,

圖源
:我國信通院CAICT微信大眾號(hào)
據(jù)我國信通院的測驗(yàn)成果