【头部财经】智谱 AI 及清华 KEG 实验室开放了重要的技术权重,让学术研究完全受益,并在完成企业登记获得授权后,允许免费商业使用。这一决定将对人工智能领域产生深远的影响。据悉,ChatGLM-6B 和 ChatGLM2-6B 是清华 NLP 团队于不久前发布的两款中英双语对话模型,它们具备了强大的问答和对话功能。
ChatGLM-6B 使用了 General Language Model(GLM)架构,拥有高达 62 亿个参数。通过模型量化技术,用户能够在普通的消费级显卡上进行本地部署,而仅需 6GB 显存(在 INT4 量化级别下)。这一特点使得模型具备了广泛的可应用性和实用性。
随后发布的 ChatGLM2-6B 不仅继承了初代模型的对话流畅和低门槛部署的特点,还增加了许多新的功能和性能提升。该模型采用了 GLM 的混合目标函数,并经过了 1.4T 中英标识符的预训练与人类偏好对齐训练。评测结果显示,相较于初代模型,ChatGLM2-6B 在多个数据集上的性能得到了大幅度提升,如 MMLU(+23%)、Ceval(+33%)、GSM8K(+571%)、BBH(+60%)。
除了性能提升外,ChatGLM2-6B 还增加了更长的上下文长度,从 ChatGLM-6B 的 2K 扩展到了 32K。这意味着模型能够更好地理解上下文信息,提供更准确和连贯的回答。此外,ChatGLM2-6B 在推理速度方面也实现了显著提升,比初代模型快了 42%,同时 INT4 量化级别下,6GB 显存支持的对话长度也从 1K 上升到了 8K。
这两款模型的重要性得到了进一步确认,因为智谱 AI 及清华 KEG 实验室决定将 ChatGLM-6B 和 ChatGLM2-6B 的权重对学术研究完全开放。这一举措将有助于推动人工智能领域的研究和应用,并为开发者和研究人员提供强大的工具和资源。
综合来看,ChatGLM-6B 和 ChatGLM2-6B 的发布以及权重的开放对人工智能领域具有重要意义。这些模型的强大功能和性能提升将推动对话系统和自然语言处理的发展,为我们的数字世界带来更智能、更便捷的人机交互体验。智谱 AI 及清华 KEG 实验室的这一举措也表明了学术界和商业界在推动人工智能创新方面的积极合作态度,为行业发展带来了新的机遇与可能性。