又能在布置時(shí)堅(jiān)持核算功率的處理計(jì)劃，雖然跨 tokenizer 習(xí)慣比較從頭練習(xí)所需參數(shù)更新較少，Memory Decoder 在兩項(xiàng)基準(zhǔn)測(cè)驗(yàn)中成功增強(qiáng)了模型獲取現(xiàn)實(shí)性常識(shí)的才能，該函數(shù)經(jīng)過(guò)最小化 Memory Decoder 輸出散布與緩存 kNN 散布之間的 KL 散度來(lái)完成 。供給更豐厚的監(jiān)督信號(hào)。

單一預(yù)練習(xí)回想組件可提高同享同一 tokenizer 的多個(gè)模型，

架構(gòu)

在預(yù)練習(xí)階段，Memory Decoder 僅需對(duì)相對(duì)較小的 transformer 解碼器進(jìn)行單次前向傳達(dá)，

功用評(píng)價(jià)

研討團(tuán)隊(duì)評(píng)價(jià)了 Memory Decoder 在 6 種互補(bǔ)場(chǎng)景下的功用：

• 在 WikiText-103 數(shù)據(jù)集上的言語(yǔ)建模 ，這一研討辦法的中心在于引進(jìn)散布對(duì)齊丟失函數(shù)，經(jīng)過(guò)練習(xí)后