这篇论文中，做了一个新方法 Engram，并给到观点： 该查表的查表，该算的算，两件事分开处理 对此，他们 Engram 的模块，专门负责「查」，和负责「算」的 MoE 配合使用 结果就是，Engram-27B 在等参数、等算力条件下，全面超越纯 MoE baseline 但「戴安娜王妃」这个 ...