4.跨詞匯習慣

表｜跨模型常識搬遷作用明顯

上表展現了 Memory Decoder 在不同 tokenizer 和模型架構下的泛化才能 。在預練習階段學習仿照非參數檢索散布，在零樣本評價環境中
 ，

功用評價

研討團隊評價了 Memory Decoder 在 6 種互補場景下的功用
：

• 在 WikiText-103 數據集上的言語建模，

  

  圖｜跨范疇習慣辦法的推理推遲比較

  經過預練習的 Memory Decoder 可以經過簡略的插值操作，經過練習后，且易發生災難性忘記 
  ，且僅需求少數額定練習