这项由韩国Theta One AI公司的Gio Paik团队联合首尔国立大学、佐治亚理工学院、威廉姆斯学院等多所知名学府共同完成的研究，于2025年10月发表在arXiv预印本平台，论文编号为arXiv:2509.24613v2。该研究首次建立了全球可访问的韩英混合语音识别评测框架HiKE，为这一长期被忽视的重要技术领域奠定了基础。

在全球化的今天，数亿人在日常交流中会自然地混合使用多种语言，这种现象被称为代码转换。当一个韩国人说"?? meeting?? presentation ?????"（今天我为会议准备了演示文稿）时，他们在一句话中同时使用了韩语和英语。这种交流方式在现实生活中极其普遍，特别是在韩国、中国、新加坡等英语不是母语但广泛使用的地区。

然而，目前的语音识别技术在处理这种混合语言时表现极其糟糕。就像一个只会听懂中文的翻译员突然遇到满口英文夹杂的对话一样，现有的AI系统往往会产生严重的理解错误。研究团队发现，即使是目前最先进的多语言语音识别模型，在处理混合语言时的错误率竟然比处理单一语言时高出3到14倍。这就像一个平时能准确识别文字的扫描仪，一旦遇到中英文混排的文档就开始胡言乱语。

这种技术缺陷严重影响了全球数亿多语言使用者的用户体验。当他们与AI助手对话、使用语音输入法或者进行在线会议录音时，系统经常无法正确理解他们的真实表达。这不仅仅是技术问题，更是一个关乎语言平等和用户体验的社会问题。

为了解决这个问题，Gio Paik团队开发了HiKE评测框架。这个框架就像为混合语言识别技术建立了一套严格的"考试标准"。他们首先收集了1121个高质量的韩英混合语音样本，涵盖了学术讨论、商务交流、娱乐对话、日常聊天、语言教育、医疗咨询、软件开发和旅游文化等八个主要话题领域。

更重要的是，研究团队建立了一套独特的分层评价体系。他们将混合语言使用分为三个层次：词汇级、短语级和句子级。词汇级混合就像在中文句子中插入"computer"这样的单个英文词；短语级混合则是插入"artificial intelligence"这样的英文词组；句子级混合则是完整的句子之间的语言切换，比如先说一段韩语，然后完整地说一段英语。

这种分层方法特别有意义，因为不同层次的混合对AI系统提出了完全不同的挑战。词汇级混合主要测试系统的双语词汇量，就像考察一个人是否同时认识"电脑"和"computer"这两个词。短语级混合则更加复杂，因为它可能涉及语法结构的改变，特别是对于韩语和英语这种语法结构差异巨大的语言对。句子级混合虽然看起来最简单，但实际上要求系统能够准确识别语言切换的时间点。

研究团队还解决了一个重要的技术细节问题：借词标注。许多词汇在不同语言中发音相似，比如韩语中的"??"和英语中的"bus"发音几乎相同。如果评测标准过于严格，要求AI必须准确区分这两种写法，那么即使AI正确理解了语音内容，也可能因为选择了"错误"的文字表示而被扣分。研究团队通过精心标注这些借词，让评测更加公平合理，平均减少了5.1%的错误率噪音。

在建立了这套评测标准后，研究团队对九个不同的多语言语音识别模型进行了全面测试。这些模型包括了各种不同的技术架构：有基于传统时序分类技术的SenseVoice，有使用注意力机制的Whisper系列模型，还有基于大型语言模型的GPT-4o和Audio Flamingo等。

测试结果令人震惊。即使是目前最先进的模型，在处理混合语言时也表现得相当糟糕。举个例子，Whisper-Medium模型在处理纯韩语时的错误率只有3.4%，处理纯英语时错误率为4.6%，但面对混合语言时，整体错误率飙升到37.3%。这就像一个平时能轻松应对韩语对话和英语对话的翻译员，一旦遇到两种语言混合使用就开始频频出错。

更有趣的是，研究团队发现不同类型的模型在处理不同层次混合时表现出截然不同的模式。传统的非大型语言模型在处理句子级混合时表现最好，在词汇级混合时表现最差。这很容易理解，因为句子级混合本质上就是两段单语对话的拼接，而词汇级混合则要求系统具备真正的双语理解能力。

然而，基于大型语言模型的GPT-4o却表现出完全相反的模式：它在词汇级混合时表现最好，在句子级混合时反而表现较差。研究团队推测这与训练数据的分布有关。大型语言模型的文本训练数据中包含大量词汇级的混合内容，比如学术论文中夹杂的英文术语，但很少包含句子级的混合内容。

为了进一步探索改善混合语言识别能力的方法，研究团队进行了微调实验。他们使用了两种不同类型的训练数据：一种是自然的词汇级和短语级混合数据，另一种是人工合成的句子级混合数据。这种人工合成数据的制作方法非常巧妙：他们将韩语语音和英语语音简单地拼接在一起，创造出句子级的混合语音。

实验结果证明了微调的有效性。经过微调后，模型的混合语言识别能力得到了显著提升。更令人惊喜的是，即使是使用人工合成的简单数据也能带来明显改善。这个发现具有重要的实际意义，因为收集真实的高质量混合语言数据既困难又昂贵，而合成数据则相对容易获得。

当使用自然的混合数据进行微调时，Whisper-Medium模型的整体错误率从37.3%降低到10.0%，改善幅度达到27.3%。即使是使用人工合成数据，也能将错误率降低到23.9%，改善了13.4%。这就像给一个不懂双语对话的翻译员进行了专门培训，让他能够更好地处理复杂的语言混合情况。

研究团队还详细分析了AI系统在处理混合语言时常见的错误类型。第一类错误是语音转写错误，即系统没有按照正确的语言文字来转写，而是用另一种语言的文字来表示听到的声音。比如听到英文"meeting"，却写成韩文的音译"??"。第二类错误是指令跟随失败，这主要出现在多任务模型中。这些模型不仅能进行语音识别，还能进行翻译和问答，但在混合语言环境中，它们有时会混淆自己的任务，开始进行翻译而不是转写。第三类错误是幻觉现象，即模型产生音频中并不存在的重复或多余内容。

这些错误类型的分析为未来的技术改进指明了方向。语音转写错误提示我们需要增强模型的多语言词汇理解能力；指令跟随失败说明需要更好的任务控制机制；幻觉现象则提醒我们要注意模型的稳定性训练。

研究团队的工作还揭示了一个重要趋势：模型规模确实影响混合语言识别能力。在Whisper系列模型中，从最小的Tiny模型到最大的Large模型，混合语言识别能力呈现明显的递增趋势。但即使是最大的模型，其混合语言错误率仍然比单语言高出六倍以上，说明仅仅通过增大模型规模并不能完全解决问题。

这项研究的意义远远超出了技术本身。在全球化时代，语言混合使用已经成为数亿人的日常交流方式。一个真正智能的AI系统应该能够理解人类的自然表达方式，而不是强迫用户改变自己的语言习惯。HiKE框架的建立为这个目标提供了重要的评测工具和技术基础。

对于普通用户来说，这项研究预示着未来的语音识别技术将能够更好地理解我们的真实对话。不管是在国际会议中自然地使用中英混合，还是在家庭对话中夹杂方言和普通话，AI系统都能够准确理解并正确转录。这将大大改善多语言使用者的技术体验，让AI真正成为理解人类多样化表达的智能伙伴。

从技术发展角度看，这项研究也为AI语音识别领域指出了一个重要的研究方向。随着全球交流的日益频繁，混合语言使用将变得越来越普遍。能够处理混合语言的AI系统不仅具有更强的实用价值，也代表了对人类真实语言使用模式的更深层理解。

研究团队已经将HiKE框架和相关代码在GitHub平台上开源发布，任何研究者都可以使用这个评测标准来改进自己的模型。这种开放的研究态度将加速整个领域的发展，让更多团队能够为解决混合语言识别问题贡献力量。

此外，研究团队的工作方法也值得借鉴。他们采用了人机协作的方式来构建数据集：先由人工撰写示例脚本，然后使用AI生成更多类似内容，最后再由人工审核修正。这种方法既保证了数据质量，又提高了数据收集效率，为其他类似研究项目提供了参考模式。

说到底，这项研究解决的是一个非常实际的问题：让AI真正理解人类的自然语言表达。当我们在日常对话中自然地混合使用不同语言时，我们希望AI能够像人类朋友一样理解我们的意思，而不是因为语言混合就产生误解。HiKE框架的建立为实现这个目标迈出了重要一步。虽然目前的技术还不够完美，但研究团队的工作清楚地表明，通过合适的训练数据和方法，AI系统完全有能力学会处理混合语言。这不仅仅是技术进步，更是让AI更好地服务于真实人类需求的重要尝试。未来随着这一领域研究的深入，我们有理由期待一个能够真正理解多样化人类语言表达的AI时代的到来。有兴趣深入了解技术细节的读者可以通过论文编号arXiv:2509.24613v2查询完整研究内容。

Q&A

Q1：HiKE评测框架是什么？它解决了什么问题？

A：HiKE是由韩国Theta One AI公司开发的全球首个韩英混合语音识别评测标准。它解决了AI语音识别系统无法准确理解混合语言对话的问题，比如当用户在一句话中同时使用韩语和英语时，现有AI系统错误率会飙升3-14倍的技术难题。

Q2：为什么现有的语音识别技术处理混合语言这么困难？

A：主要原因是现有AI系统在训练时主要接触单一语言数据，缺乏处理语言混合的能力。就像一个只学过单独韩语和英语的翻译员突然遇到两种语言混合使用就会出错一样。不同层次的语言混合对AI提出了完全不同的挑战，从词汇理解到语法结构处理都需要特殊的技术能力。

Q3：这项研究对普通用户有什么实际意义？

A：未来用户可以更自然地与AI系统交流，不需要刻意避免语言混合。比如在语音输入、AI助手对话或在线会议录音时，即使自然地混合使用多种语言，AI也能准确理解并转录。这将大大改善全球数亿多语言使用者的技术体验，让AI真正理解人类的自然表达方式。