在于GPU自身 ，

英偉達針對這部分推理中所遇到的實際難題供給了高效的處理方案：

在分布式推理上，而是整個體系 、需求在毫秒級完結很多token處理與上下文回溯。能夠將HPC和AI作業負載中雜亂的調集通訊核算卸載到網絡溝通機上
，這都在提高全體體系耐性的一起 ，簡直一切參加數據中心的企業