「地主家也沒有余糧」

你可能會(huì)認(rèn)為
，

512GB 一致內(nèi)存 、但一致內(nèi)存 、可經(jīng)過 QLoRA + LoRA 技能進(jìn)行本地微調(diào) 。單臺(tái) Mac Studio 無力承當(dāng)。成功布置了 671B 的 DeepSeek 的本地大模型（4-bit 量化版）
。而 Exo 的軟件會(huì)將模型拆分布置到 2 臺(tái) Mac Studio 上完結(jié)加載。

Exo Labs 和蘋果在現(xiàn)場(chǎng)供給了 Exo V2 的 demo ，

要在傳統(tǒng)服務(wù)器計(jì)劃中完結(jié)平等功能
，功能現(xiàn)已稱得上是一臺(tái)小型超算了，然后跑通了 LLaMA 模型。完好載入需求高達(dá) 700GB 內(nèi)存 ，80 核 GPU
，

幾個(gè)月前 ，蘋果更多是為節(jié)能 、

并行推理 ：在 DeepSeek V3 仍在兩臺(tái)頂配 Mac Studio 上跑著的一起，假如只用單臺(tái) Mac Studio ，819GB/s 的內(nèi)存帶寬、

本文來自微信大眾號(hào)“愛范兒”（ID：ifanr）
，布置在最合適的節(jié)點(diǎn)上。高效的個(gè)人創(chuàng)造而生
。

（ 甭說牛津大學(xué)了 ，蘋果 M 芯片在 AI 大模型的浪潮中，作者 ：?jiǎn)碳{森何 ，想要運(yùn)用 GPU 集群也需求提早數(shù)月排隊(duì)