论文分享——动态神经网络

动态神经网络的发展总结,截至2021年

论文分享——MemoryBank: Enhancing Large Language Models with Long-Term Memory

大语言模型的革命性进步彻底重塑了人类与人工智能系统的交互,在广泛的任务中展示令人印象深刻表现。尽管如此,仍然存在一个明显的问题,长期记忆机制的缺失。在持续互动的需求下,这个缺点变得越来越明显,比如个人伴侣制度、心理咨询和秘书协助等领域。 了解了长期记忆的必要性,本文提出创建记忆存储,为大模型定制的一种新的存储机制。记忆存储使模型能够召回相关的记忆,通过不断的记忆更新、理解来变化,随着时间的变化,通过综合历史互动信息来使用用户的个性化特征。

  • 0
  • 0
  • 赵倩
  • 发布于 2天前
  • 阅读 ( 19 )

论文分享——Is a Modular Architecture Enough?

机器学习系统正逐渐显露出更稀疏、更模块化架构的优势,模块化架构不仅具有良好的泛化性能,而且还能带来更好的分布外(OoD) 泛化、可扩展性、学习速度和可解释性。此类系统成功的一个关键是,用于真实世界设置的数据生成系统被认为由稀疏交互部分组成,赋予模型类似的归纳偏置将是有帮助的。然而,由于这些真实世界的数据分布是复杂和未知的,该领域一直缺乏对这些系统进行严格的定量评估。