马斯克宣布,旗下大模型平台xAI开源其去年最佳模型Grok-2.5,并且在6个月内开源旗舰模型Grok 3。
与其他同类大模型相比,Grok-2.5最强功能就是可以实时抓取社交平台X(也是马斯克的)数据,例如,用户想询问今日NBA比赛结果时,会自动检索X平台的实时讨论和权威媒体发布的比分数据,生成包含赛况分析、球员表现的综合回答。
此外,财大气粗的马斯克对Grok-2.5的投入也相当大,使用了他当时最强的训练平台Colossus超20万块H100来训练,其性能超过了GPT-4o、Claude 3.5等模型,曾位列大模型竞技场的第2名。
开源地址:https://huggingface.co/xai-org/grok-2
Grok 2.5架构方面,使用了混合专家模型架构,拥有约 3140 亿个参数,其中每次任务激活约 860 亿个活跃参数。这种设计通过动态选择最适合任务的专家模块,使得模型在处理复杂任务时既高效又节能。其上下文窗口达到128,000个token,支持处理长文本输入,适用于需要深度理解和复杂推理的场景。
训练方面,xAI投入了Colossus超级计算机集群,配备20万块NVIDIA H100 GPU,仅用122天完成训练。训练数据覆盖截至2024年初的海量文本和代码,包括书籍、网页、开源代码库等,并通过X平台实时数据流持续更新,确保模型对时效性内容的理解能力。
Grok 2.5还采用FP8混合精度训练和多token预测目标技术,在保证精度的同时将训练速度提升3倍。
在应用场景上,Grok-2.5凭借实时数据驱动实现了多领域突破。在舆情监测与热点追踪方面,它能实时抓取X 平台的热门标签和讨论趋势并生成舆情报告,某品牌发布新产品后,模型可快速分析用户评论的情感倾向,识别潜在舆论风险点,这一能力使其在危机公关、市场调研等场景中具有不可替代性;
金融与经济分析领域,模型可实时整合X平台的财经大V观点、机构研报摘要和市场情绪数据,结合历史交易数据进行趋势预测,例如,当用户提问 “某公司股价暴跌原因” 时,Grok-2.5会引用X平台的实时讨论例如,某大公司CEO的推文、分析师的解读,并结合财报数据生成多维度分析报告
在多模态交互方面,Grok 2.5整合了Black Forest Labs的Flux.1模型,能够根据文本描述生成高质量图像,或分析医学影像、图表等视觉内容。例如,医生上传X光片并提问“是否存在肺部结节”,模型可结合影像特征和医学知识库给出诊断建议。音频处理方面,Grok 2.5支持语音输入和实时语音转写,适用于会议记录、语音助手等场景。
在发布初期,Grok 2.5在LMSYS中文对话排行榜上以Elo分数1280超越Claude 3.5(1250)和GPT-4 Turbo(1230),成为当时开源模型中的佼佼者。
其数学推理能力在MATH基准测试中准确率达23.9%,科学问答任务在GSM8K数据集上表现优于开源竞品。代码生成方面,Humaneval测试通过率为63.2%。
网友表示,感谢埃隆。很高兴看到 Grok 2实现开源。希望开源能持续缩小与闭源人工智能,当技术进步得以共享时,整个世界都将从中受益。
太棒了,感谢你兑现了承诺!期待 Grok 3。
Grok 4也该安排一下了,让我们追一下开源进度吧。
开源社区能够获得在生产中实际使用的完整模型,而不是精简版或衍生版本,这真是太酷了。
感谢您支持开源!我们将尝试研究如何创建动态的GGUF文件,以便每个人都可以在本地运行它!
感谢开源。如果能一并发布训练脚本就太好了。
END