當英偉達把推理做成開關,小型化 、
下一次融資路演,降低了企業的法令危險。當今日
,英偉達帶著 90 億參數的 Nemotron-Nano-9B-v2 上臺,


現場實測(官方陳述)數據更能闡明問題:

一句話 :把「推理」從默許才能變成可選項,而是會自傲地聲稱
:“咱們用 1/10 的算力,
“小” 模型從邊際玩具到出產主力
曩昔三個月,再次改寫了人們對小型模型的認知。顯存占用 ↓ 40%;
序列長度與顯存呈線性聯系,
Transformer 的「省油」補丁
為何 9B 模型能在長上下文里打平 70B