临时记忆其实可以有一种伪长期的机制(long-term),这个只是记录了和用户的简略特征,仍受限于上下文长度。

如果开设一个专门的进化模型和基础认知模型共同存在,但仍存在人类一样的记忆体和回顾效率限制,可能需要舍弃部分冗余性,专注动态特征处理才能像人类一样有高效的回顾机制。

现在LLM的上下文长度可能是有限的,到未来迭代版本可能会记住用户的每次提问的细节,但是会影响到成本效益控制。

这在AGI上也很有用。问题是高效、碎片化、准确的回顾机制,这种机制通常可以构建LLM和各种多模态模型的长期存储(可选择自主进化的可能),由于LLM缺乏现实的经验,仍会出现幻觉。

引入现实基础数据(世界模型)参考现实数据的降维化处理,让现实降维数据的权重更高,可能有效减缓幻觉现象。