近日,美国初创公司Arcee AI宣布推出其新系列的 Trinity 模型,旨在在竞争激烈的开源 AI 领域中重新定义美国的地位。与许多当前主流的开源大语言模型(LLM)相比,这些模型的训练全部在美国进行,且采用了开放权重的混合专家(MoE)架构。
Trinity 系列目前包括 Trinity Mini 和 Trinity Nano Preview 两个模型,用户可以通过阿尔希的新网站 chat.arcee.ai 进行体验,开发者也可在 Hugging Face 平台上免费下载这两个模型的代码进行修改和微调,全部内容均采用企业友好的 Apache2.0许可证。Trinity Mini 模型参数量为260亿,具备高通量推理能力,而 Trinity Nano 则是一个实验性的聊天模型,参数量为60亿,旨在提供更强的个性化对话体验。
这两个模型采用了阿尔希公司最新的注意力优先混合专家(AFMoE)架构,该架构在设计上将稀疏专家路由与增强的注意力机制相结合,以提高模型的推理能力和处理长文本的效率。与传统的 MoE 模型相比,AFMoE 通过更平滑的方式选择和融合专家的回答,使得模型能够在理解和响应复杂问题时表现得更加灵活。
Arcee AI 的 CTO 卢卡斯・阿特金斯在社交媒体上表示,他们的目标是提供一个经过全面训练、可供企业和开发者真正拥有的开源模型家庭。公司的下一款 Trinity Large 模型目前正在训练中,预计将于2026年1月发布,届时将进一步提升美国在开源 AI 领域的竞争力。
通过与数据策划初创公司 DatologyAI 的合作,Arcee确保了训练数据的质量,避免了常见的噪声和偏见问题,为模型的训练奠定了坚实基础。同时,Arcee的基础设施合作伙伴 Prime Intellect 也为模型训练提供了强大的技术支持,确保了训练过程的高效性和透明性。
划重点:
-





京公网安备 11011402013531号