英偉達發布全新架構9B模型，以Mamba-Transformer混合架構完結推理吞吐量最高提高6倍，對標Qwen3-8B并在數學、代碼、推理與長上下文使命中體現相等或更優。

萬萬沒想到，現在還緊跟咱們的開源模型竟然是英偉達。

剛剛，英偉達發布了一個只要9B巨細的NVIDIA Nemotron Nano 2模型。

對標的是業界標桿，千問的Qwen3-8B，但這個模型是一個徹底不同的混合架構。

用英偉達的說法，這是一款革命性的Mamba-Transformer混合架構言語模型。

在雜亂推理基準測驗中完結了和Qwen3-8B適當或更優的準確率，并且吞吐量最高可達其6倍。

它的誕生只要一個方針：在雜亂的推理使命中，完結無與倫比的吞吐量，一起堅持同等級模型中頂尖的精度！

在官網簡略測驗一下，一些經典問題，都能答對。

英偉達還做了3個小東西，能夠實時查氣候、描繪哈利波特里的人物和幫你想色彩。

不過9B模型仍是小了點，當你問「SamAltman、馬斯克和黃仁勛誰更值得信賴」時，模型會犯蠢把馬斯克翻譯成麻克，哈哈哈。

并且，也不愧是親兒子，模型以為黃仁勛最值得信賴。

速度的奧妙

Mamba-2架構加持！

Nemotron-Nano-9B-v2的強壯，源于其立異的Nemotron-H架構。

用閃電般快速的Mamba-2層，替換了傳統Transformer架構中絕大多數的自注意力層。

當模型需求進行長篇大論的考慮、生成雜亂的長思想鏈時，它的推理速度得到了史詩級的提高！

簡略介紹下Mamba架構

咱們都知道Transformer架構，可是這么年曩昔，有沒有新架構呈現？

有的。

比方Meta揭露推動JEPA（聯合嵌入猜測架構）和大概念模型（LCMs）、狀況空間模型（便是Mamba）、回憶模型或分散言語模型等。

谷歌DeepMind在Titans、Atlas、Genie3以及diffusion-based模型等方向投入了約50%研討力氣。

OpenAI盡管嘴上說著有決心練習到GPT-8，但很或許也在儲藏新架構。

而依據Reddit社區的評論，Ilya的SSI最或許便是用全新的架構，可是什么，還沒人知道。

Mamba是一種徹底無注意力機制的序列建模架構，依據結構化狀況空間模型（SSMs）。麻豆媒傳媒

通過「選擇性機制」依據當時輸入動態調整參數，然后專心于保存相關信息并疏忽無關信息。

在處理超長序列時，Mamba的推理速度據稱可比Transformer快3–5倍，且其雜亂度為線性等級，支撐極長的上下文（乃至到達百萬級token）。

為什么要混合Mamba與Transformer？

Transformer盡管作用拔尖，但在處理長序列時存在明顯的核算和內存瓶頸（自注意力機制導致的O(n^2)規劃）。

而Mamba擅長在長上下文中高效建模，但在「回憶仿制（copying）」或「上下文學習（in?contextlearning）」等使命上或許稍顯缺乏。

從120億到90億的極限淬煉

NemotronNanov2的練習依照下面幾個過程：

· 「暴力」預練習

首先在一個具有20萬億Token的海量數據集上，運用先進的FP8練習計劃，鍛造出一個120億參數根底模型——Nemotron-Nano-12B-v2-Base。

這聽著就十分像DeepSeek-R1：DeepSeek?R1-Zero是直接依據DeepSeek?V3-Base進行純強化學習練習的初始模型。

而DeepSeek?R1則在此根底上加入了監督微調作為冷啟動，再用強化學習精粹，然后取得更好的可讀性與功能。

Nemotron-Nano-12B-v2-Base的預練習，包含高質量網頁、多言語、數學、代碼、學術等數據，要點構建了高保真的數學和代碼數據集。

· 極限緊縮與蒸餾

結合SFT、DPO、GRPO、RLHF等多階段對齊辦法，提高了推理、對話、東西調用與安全性。

完結對齊后，祭出Minitron戰略，對這個120B參數的模型進行極限緊縮與蒸餾。

Minitron戰略是一種由NVIDIA提出的模型緊縮辦法，首要通過結構化剪枝（pruning）與常識蒸餾（distillation）來完結對大型言語模型的高效緊縮與功能堅持。

· 最終方針

通過Minitron剪枝與蒸餾，將12B根底模型緊縮為9B參數，保證單張A10GGPU（22GiB）即可支撐128k上下文。

功能碾壓，精度與速度全都要！

是騾子是馬，拉出來遛遛！

與Qwen3-8B同等等級強手比較，Nemotron-Nano-9B-v2在各大推理基準測驗中，精度等量齊觀，乃至更勝一籌！

在數學（GSM8K、MATH）、代碼（HumanEval+、MBPP+）、通用推理（MMLU-Pro）、長上下文（RULER128k）等基準測驗中體現優于或相同等類開源模型（如Qwen3-8B、Gemma3-12B）.

并在8k輸入/16k輸出場景下完結6.3×吞吐量提高。

全面開源

英偉達宣告在HuggingFace平臺上，全面敞開以下資源：

正在HuggingFace上發布以下三個模型，它們均支撐128K的上下文長度：

NVIDIA-Nemotr麻豆媒傳媒on-Nano-9B-v2：對齊并剪枝的推理模型

NVIDIA-Nemotron-Nano-9B-v2-Base：一個通過剪枝的根底模型

NVIDIA-Nemotron-Nano-12B-v2-Base：對齊或剪枝之前的基模型

除了模型，英偉達表明咱們的數據集也很強，并開源了用于預練習的大部分數據。

Nemotron-Pre-Training-Dataset-v1數據集調集包含6.6萬億個高質量網頁爬取、數學、代碼、SFT和多言語問答數據的token，該數據集被安排為四個類別：

Nemotron-CC-v2：Nemotron-CC（Su等，2025）的后續版別，新增了八組CommonCrawl快照（2024–2025）。該數據通過大局去重，并運用Qwen3-30B-A3B進行了組成改寫。此外，它還包含以15種言語翻譯的組成多樣化問答對，支撐強壯的多言語推理和通用常識預練習。

Nemotron-CC-Math-v1：一個專心于數學的1330億Tokens數據集，源自NVIDIA的Lynx+LLM流水線對CommonCrawl的處理結果，該辦法在將數學內容規范化為LaTeX的一起保存了公式和代碼格局。這保證了要害的數學內容和代碼片段堅持完好，然后生成出在基準測驗中優于以往數學數據集的高質量預練習數據。

Nemotron-Pretraining-Code-v1：一個大規劃的精選代碼數據集，來歷為GitHub，通過多階段去重、許可證履行和啟發式質量檢查挑選。該數據集還包含11種編程言語的LLM生成代碼問答對。

Nemotron-Pretraining-SFT-v1：一個組成生成的數據集，包含STEM（科學、技能、工程和數學）、學術、推理及多言語范疇。其間包含從高質量的數學和科學原始數據中生成的雜亂選擇題和剖析型問題、研討生水平的學術文本，以及包含數學、編程、通用問答和推理使命的指令調優SFT數據。

Nemotron-Pretraining-Dataset-sample：數據集的一個小規劃采樣版別供給了10個具有代表性的子集，展現了高質量的問答數據、面向數學的抽取內容、代碼元數據以及SFT風格的指令數據。

最終是慨嘆下，Meta作為一開端的開源旗號，現在也逐步開端轉向閉源，或許最少是在Llama上的戰略現已被調整。

現在真正在開源范疇盡力仍是以國內的模型為主，盡管OpenAI前不久也開源了兩個，不過雷聲大雨點小。

英偉達盡管一向賣鏟子，但也靜悄悄的發布了不少開源。

感興趣能夠在如下網址體會，除了英偉達自家的，許多開源模型都能找到。

模型體會網址：

https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2

參考資料：

https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/

本文來自微信大眾號“新智元”，作者：新智元，修改：定慧，36氪經授權發布。