动态神经网络的发展总结,截至2021年
大语言模型的革命性进步彻底重塑了人类与人工智能系统的交互,在广泛的任务中展示令人印象深刻表现。尽管如此,仍然存在一个明显的问题,长期记忆机制的缺失。在持续互动的需求下,这个缺点变得越来越明显,比如个人伴侣制度、心理咨询和秘书协助等领域。 了解了长期记忆的必要性,本文提出创建记忆存储,为大模型定制的一种新的存储机制。记忆存储使模型能够召回相关的记忆,通过不断的记忆更新、理解来变化,随着时间的变化,通过综合历史互动信息来使用用户的个性化特征。
研究动机 自从大语言模型问世以来,就表现出非凡的能力,我们的科研和工作都离不开大语言模型的帮助。大语言模型的强大功能可以为我们提供以下几种服务:文本生成、摘要总结、关键信息提取、文...
机器学习系统正逐渐显露出更稀疏、更模块化架构的优势,模块化架构不仅具有良好的泛化性能,而且还能带来更好的分布外(OoD) 泛化、可扩展性、学习速度和可解释性。此类系统成功的一个关键是,用于真实世界设置的数据生成系统被认为由稀疏交互部分组成,赋予模型类似的归纳偏置将是有帮助的。然而,由于这些真实世界的数据分布是复杂和未知的,该领域一直缺乏对这些系统进行严格的定量评估。
本文确定了端到端并发瓶颈受到视频解码的限制,并提出了PacketGame,一个在运行视频解码器 之前选择性地过滤分组的分组门控。 大量实验表明,PacketGame可以有效提高各种视频推理任务的并发水平。
大多数开放域对话模型在长期人机对话的环境中往往表现不佳。可能的原因是他们缺乏理解和记忆长期对话历史信息的能力。论文提出了一个新的长时记忆对话任务(LeMon),构建了一个新的对话数据集DuLeMon和一个具有长时记忆机制的对话生成框架PLATO-LTM。这种LTM机制使对话系统能够准确地提取和持续更新长期角色记忆,而不需要多会话对话数据集进行模型训练,从而提高对话的一致性和吸引力。论文的工作是第一次尝试对双方的角色信息进行实时动态管理,包括用户和聊天机器人。
介绍了氢赋能零碳智慧能源系统,讨论了未来通信网和算力网能源需求的挑战,提出通信-算力-能源“三网合一”的框架,分析了建设氢赋能零碳算力数据中心的可行性和经济性。介绍了基于智能电网的楼宇多能源系统节能优化。
每年售出15亿部智能手机,大多数在不到两年后退役。这些不想要的智能手机既没有被丢弃,也没有被回收,而是存放在垃圾抽屉和存储单元里。这种计算储备代表了大量浪费的潜力:现代智能手机具有越来越多的性能和节能处理器、广泛的网络能力和可靠的内置电源。这个项目研究了将这些不需要的智能手机重新利用为“垃圾场电脑”的能力。垃圾场计算机通过延长设备寿命来增长全球计算能力,并通过取代新设备的制造来节省碳排放。
闲来无事又重装了一遍ubuntu-windows双系统,因此发篇博客记录一下,方法适用于18-22。 本文主要介绍如何在电脑上安装ubuntu22与windows共存的双系统 需要准备的东西主要是...
论文链接:https://ieeexplore.ieee.org/document/10204999 发表会议:CVPR 2023 1 摘要 众所周知,联邦学习面临数据异构时可能会出现训练结果不稳定以及收敛速度变慢的问题。这篇文章主...
论文链接:https://arxiv.org/abs/2203.06953 发表会议:CVPR 2022 Forward Compatible Few-Shot Class-Incremental Learning 1 摘要 在小样本类增量学习中,考虑一种新的研究思路,向前...
论文链接:https://arxiv.org/abs/2004.10956 发表会议:CVPR 2020 Few-Shot Class-Incremenal Learning 1摘要 近年来,很多研究都关注类别增量学习,在不断增加的数据类别中学习一个增量模...
论文链接:https://arxiv.org/abs/2303.06937 发表会议:ICCV 2023 TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation 1.摘要 现有的很多联邦学习方法都是应用在...
本文主要介绍高光谱数据特点以及对应的目标处理算法CEM
# [CVPR23 感推 Planning-oriented Autonomous Driving] *论文下载地址(可选):[[Planning-Oriented Autonomous Driving (thecvf.com)](https://openaccess.thecvf.com/content/CVPR2023/p...
在Jetson上安装Pytorch的GPU版本,主要步骤包括确认JetPack版本、查找兼容的PyTorch版本、使用pip安装PyTorch,以及解决可能出现的安装问题
在应对遥感图像处理和分析任务时经常使用多光谱马赛克图像。多光谱马赛克图像是一种融合多个多光谱波段的遥感图像,它可以为我们提供丰富的地表信息,对于环境监测、农业、城市规划等领域都具有...
华为Atlas 200I DK A2简介华为Atlas 200I DK A2开发套件集成高性能 Ascend 310 AI 处理器,可提供8TOPS INT8的计算能力,可以实现图像、视频等多种数据分析与推理计算,具有硬件接口丰富、参考...
论文分享--The Shapley
在过去的几年里,Shapley值,一个来自合作博弈论的解决方案概念,在机器学习中得到了大量的应用。本文首先讨论了合作博弈论的基本概念和Shapley值的公理化性质。然后,我们概述了Shapley值在机器学习中最重要的应用:特征选择、可解释性、多智能体强化学习、集成修剪和数据估值。我们研究了Shapley值的最关键的局限性,并指出了未来研究的方向。