上证报中国证券网讯（记者 罗茂林）3月16日，月之暗面Kimi发布了一项技术报告《Attention Residuals》（注意力残差），突破大模型架构中的瓶颈，重新设计深度学习中核心的残差连接结构。该技术不仅被业界解读为下一代模型架构的预示，也获得硅谷顶级AI专家和企业家的广泛关注，马斯克评价这一研究“令人印象深刻”。 过去十年，大多数大规模深度学习模型使用的“残差连接”结构基本未做过重大改变。传统的残差结构是通过对每一层的输出进行统一求和来实现信息传递，虽然这种方式在一定程度上有效，但也存在信息丢失和计算效率低下问题。Kimi团队的最新技术报告提出一种全新方案，允许模型在每一层选择性地关注此前各层的输出，而不是简单地进行求和。这一创新不仅优化了计算效率，还显著提升了大模型的训练效果。报告显示，经过改进的48B模型训练效率提升了1.25倍。 报告显示，Kimi的三位联合创始人杨植麟、吴育昕、周昕宇与数十名研究员共同完成了这项技术突破。报告不仅在国内引起了广泛关注，也迅速成为全球AI领域的焦点。技术的创新性和前瞻性让许多业内专家纷纷发表评论，称其为“深度学习2.0”的开端，特斯拉马斯克评价这一研究为“令人印象深刻”。

上证报中国证券网讯（记者 罗茂林）3月16日，月之暗面Kimi发布了一项技术报告《Attention Residuals》（注意力残差），突破大模型架构中的瓶颈，重新设计深度学习中核心的残差连接结构。该技术不仅被业界解读为下一代模型架构的预示，也获得硅谷顶级AI专家和企业家的广泛关注，马斯克评价这一研究“令人印象深刻”。

过去十年，大多数大规模深度学习模型使用的“残差连接”结构基本未做过重大改变。传统的残差结构是通过对每一层的输出进行统一求和来实现信息传递，虽然这种方式在一定程度上有效，但也存在信息丢失和计算效率低下问题。Kimi团队的最新技术报告提出一种全新方案，允许模型在每一层选择性地关注此前各层的输出，而不是简单地进行求和。这一创新不仅优化了计算效率，还显著提升了大模型的训练效果。报告显示，经过改进的48B模型训练效率提升了1.25倍。

报告显示，Kimi的三位联合创始人杨植麟、吴育昕、周昕宇与数十名研究员共同完成了这项技术突破。报告不仅在国内引起了广泛关注，也迅速成为全球AI领域的焦点。技术的创新性和前瞻性让许多业内专家纷纷发表评论，称其为“深度学习2.0”的开端，特斯拉马斯克评价这一研究为“令人印象深刻”。