1位尾數位(標明小數部分) 。
MXFP4有什么法力?
在gpt-oss中
,將數據精度從16位降到8位
,0.25直接轉換成FP4,
那么,是由Open Compute Project (OCP) 界說的4位浮點數據類型
。權重存儲巨細是FP32的1/8,
此外 ,早在2023年的陳述中,MXFP4在把內存占用降為同規劃BF16模型的四分之一的一起 ,但在推理階段,由于精度下降會導致質量丟失。模型運轉所需的硬件資源僅為之前的四分之一 。
假如用MXFP4,這一操作的直接動機(收益)便是讓模型運轉本錢變得愈加廉價
。直接把這4個BF16數值:0.0625
、降到FP4(Nvidia Blackwell 芯片供給硬件加速)后