就像在實時觀看一個科幻夢想成真——真實達到了立異的巔峰!
發動服務器
裝置最新版的SGLang推理引擎(版別≥v0.5.1),
python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton
發送懇求
這是一個通過額定練習的模型 ,這是「超人」之舉,
他泄漏,

【新智元導讀】Grok-2正式開源,

Grok-2于2024年完結練習,衍生品或輸出(包括生成的數據)來練習、
「短短兩年內,網友對此做了一個總結:


開源權限是什么?
商業用途門檻:僅當相關公司年收入低于一百萬美元時,每次會激活其間的1360億(136B)參數。所以需求8張GPU(每張顯存大于40GB)。就連谷歌,體積超500GB。

有網友表明
,

Grok 4發布會上 ,
python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>Assistant:"
你應該能看到模型輸出姓名——Grok