当前位置: 首页 » 资讯 » 新科技 » 正文

云天励飞:IPU-X6000加速卡支持适配30+开源大模型,预期能使大模型推理成本大幅度下降

IP属地 北京 编辑:陈丽 金融界 时间:2024-09-30 16:43:05

9月30日消息,有投资者在互动平台向云天励飞提问:请问:配置X6000加速卡,玩悟空效果怎么样?适配吗?谢!

公司回答表示:公司于2024年推出IPU-X6000加速卡,主要用于大模型云端推理,其内置高效大模型推理DeepEdge200芯片,具有256T大算力、486GB/s超高带宽、128GB大显存、c2c mesh互联,可应用于语言大模型、视觉大模型、多模态大模型等各类大模型推理加速领域,目前已经支持适配云天书、通义千问、百川智能、智谱清言、meta等30+开源大模型,涵盖1.5B参数到70B参数量,预期能使大模型推理成本大幅度下降。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。