作为国内首个非Transformer架构、非Attention机制大模型完成网信办备案,为行业发展开辟了新的技术路径。 RockAI成为唯一一家非Attention机制大模型和Attention机制大模型均…
语言大模型的核心是Transformer，是基于注意力机制的深度学习模型（神经网络架构），用于处理序列到序列的任务。 由多个编码器层堆叠而成，内部包含多头自注意力机制+前馈神经网络，整体主要作用是捕捉输入序…
与此同时，通往AGI的道路出现了两大技术流派：一是以OpenAI为代表的Transformer学派，通过大数据、大参数、大算力，以自回归方式走向AGI；二是以meta首席人工智能科学家Yann LeCun为代…
在探索AGI的道路上，Transformer架构和世界模型代表了人工智能研究中两种截然不同的设计哲学和目标。这两种方法在理解复杂系统、处理未知环境、以及学习效率方面各有优劣，引发了关于哪一种更接近于实现AG…
10 月 9 日消息，科技媒体 marktechpost 昨日（10 月 8日）发布博文，报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transfor…
而 Liquid AI 则反其道而行之，其 Liquid 基础模型号称对模型架构进行了“重新设想”，据称受到了“交通信号处理系统、数值线性代数”理念的深刻影响，主打“通用性”，能够针对特定类型的数据进行建模…
它不仅在无人机、机器人、PC、手机等终端设备中,丝滑适配,而且模型智能能力迎来了全新升级。 为了实现群体智能,RockAI经过多年的技术沉淀,独创了不同于Transformer的MCSD架构,并且提出了「类…
在这个节目中，Andrej Karpathy 分享了有关研究、新公司以及对 AI 未来的期待，其中不乏颇为激进的观点，比如他认为Transformer 很快就将在性能上超越人类大脑、我们已经在特定的领域实…
近年来，由于在图表示学习（graph representation learning）和非网格数据（non-griddata）上的性能优势，基于图神经网络（Graph Neural Networks，GN…
在人工智能应用领域，布林认为生物学已经较好地实现了 AI 技术的落地应用，而机器人领域还是看完演示觉得很神奇的阶段，没有达到日常可以使用的水平。 布林：我认为竞争在某种程度上是非常有帮助的，因为所有科技大厂都…
最近，来自新加坡国立大学的研究者提出了 Kolmogorov–Arnold Transformer（KAT），用Kolmogorov-Arnold Network（KAN）层取代 MLP 层，以增强模型的…
其中，Noam Shazeer 是 Character.AI 的创始人、CEO，也是 Transformer论文作者之一，他曾在谷歌任首席软件工程师。 Shazeer 将与 Google DeepMind …
目前可以在 Hugging Face 上查看并使用 Falcon Mamba 7B，这个仅用因果解码器的模型采用了新颖的 Mamba状态空间语言模型（State Space Language Model,…
虽然训练时只用到了长度为3～6个节点的因果链，但序列长度为7～13时，TS2（NoPE）在标准和随机翻转的链上，获得了比GPT-4更高或相当的准确率。 使用正弦位置编码（SPE）和可学习位置编码（LPE）的…
TTT 层直接替代了注意力机制，解锁了具有表现力记忆的线性复杂度架构，使我们能够在上下文中训练包含数百万（未来可能是数十亿）个 token 的LLM。 继续 Mamba 论文之后，研究人员在 Pile 上…
【头部财经】近日，Transformer的八位作者全部离开了谷歌，这一消息引起了业界广泛关注。据悉，这些顶尖人才的流失不仅对谷歌产
08/20 10:25
08/20 10:24
08/20 10:23
08/20 10:22
京公网安备 11011402013531号