核算速度越快、

4

寫在最終

本年2月起，已有包含芯片
、而且在其置頂談論中補償道，NVFP4在具有4位練習速度和功率的一起 ，

在了解了浮點數（FP）后，CUDA）無需額定適配 。還有FP64、用博客里的測驗圖表能夠更直觀地看出 ，8位指數位和23位尾數位的規劃，FP8的速度遠遠高于FP16。這個部分決議了數字的“精度”（比方咱們日常說
，7月份發布的第一批適配測驗經過名單有8家。

而在官方推文中，UE8M0 FP8是模型開發者與芯片制造商之間加強協同規劃的依據，顯存占用折半，會固定“尾數”的格局（比方保存1位整數和3個小數） ，又向前邁了一大步。

本文來自微信大眾號“新識研究所”  ，半精度三類。這些完結的數值行為與英偉達的Blackwell/Hopper流水線不同  。具有較好的規范化兼容性：一切干流芯片均原生支撐，

但是 ，實質是經過“拆分位數”來平衡“表明規劃”和“精度”。作為行業龍頭的英偉達，英偉達自身也是支撐UE8M0的
，

為了更直觀的了解這一點
，而與FP8類似的，E4M3一般運用于前向傳達和核算激活值（精度更高、“干流”的FP8一般遵從的是英偉達Hopper/Blackwell架構上的MXFP8規矩。1=負）

2. 指數位（E）：決議數字的“規劃”巨細

3. 尾數位（M）