現(xiàn)在,

Grok 4發(fā)布會(huì)上
,提高模型才能
。其混合專家(MoE)架構(gòu)在Grok-1的根底上進(jìn)行了改善。
python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton
發(fā)送懇求
這是一個(gè)通過(guò)額定練習(xí)的模型,xAI坐落孟菲斯的巨像數(shù)據(jù)中心僅用122天建成并全面投入運(yùn)營(yíng),


運(yùn)用方法
:通過(guò)SGLang布置
下載權(quán)重文件
你能夠把/local/grok-2替換成恣意你喜愛(ài)的文件夾稱號(hào)。每次會(huì)激活其間的1360億(136B)參數(shù)。

馬斯克還預(yù)告,馬斯克曾預(yù)告了下一步路線圖——
8月將發(fā)布編碼模型,向一切人開源Grok-2