当前位置: 首页 » 资讯 » 新科技 » 正文

商汤开源NEO架构:原生多模态模型放弃“拼图式”设计,数据量减90%仍拿下SOTA

IP属地 中国·北京 编辑:顾青青 Chinaz 时间:2025-12-03 10:23:56

商汤科技联合南洋理工大学 S-Lab 发布行业首个原生多模态架构 NEO,并同步开源2B 与9B 两款模型。新架构摒弃“视觉编码器 + 投影器 + 语言模型”的传统三段式方案,从注意力机制、位置编码到语义映射全部重写,官方称在同等性能下数据需求仅为业界平均的1/10,首次实现“像素到 Token”的连续映射。

据商汤技术负责人介绍,NEO 通过原生图块嵌入层直接读取像素,取消独立图像 Tokenizer;三维旋转位置编码(Native-RoPE)在同一向量空间内同时表达文本与视觉时空频率;多头注意力采用“视觉双向 + 文本自回归”混合计算,空间结构关联得分提升24%。实测显示,在0.6B-8B 参数区间内,NEO 在 ImageNet、COCO 与 Kinetics-400上取得 SOTA,边缘设备推理延迟低于80毫秒。

GitHub 已公开模型权重与训练脚本,商汤计划明年第一季度开源3D 感知与视频理解版本。业内人士认为,NEO 的“深层融合”路线有望结束多模态“拼积木”时代,为终端小模型提供新的性能基线。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。