IT之家 11 月 15 日消息，据外媒 Futurism 今日报道，儿童玩具制造商 FoloToy 宣布，将暂停销售其 AI 驱动的泰迪熊“Kumma”，原因是安全组织发现该玩具给出的回答既不当又危险。据悉，这款玩具熊能够提供点燃火柴的步骤，甚至还详细解释了关于性癖的内容。

FoloToy 的市场总监 Hugo Wu 在回应相关安全报告时对《注册》杂志表示：“我们决定暂时停止销售受影响的产品，并启动全面的内部安全审计。这项审计将评估我们的模型安全性、内容过滤系统、数据保护措施以及儿童互动的安全保障。”

图源：Pexels

Wu 补充道，FoloToy 将与外部专家合作，验证其 AI 玩具的现有安全功能并进行改进。“我们非常感谢研究人员指出潜在的风险，能够帮助我们不断改进。”

由公共利益研究小组（PIRG）发布的报告指出，研究人员测试了三款来自不同公司、具有 AI 功能的玩具，结果显示，三款产品都能为孩子们提供一些令人担忧的回答，且能够在不加引导的情况下讨论一些父母可能不愿意让孩子接触的话题。

然而，FoloToy 的 Kumma 无疑是最具负面影响的玩具。Kumma 默认使用的是 OpenAI 的 GPT-4o 模型，这与曾驱动 ChatGPT 的技术相同。测试表明，随着对话的进行，Kumma 逐渐放松了安全防护，直到谈论出令人不安的话题。

在一次测试中，Kumma 详细讲解了如何点燃火柴，语气像是一个友好的成年人在向好奇的孩子解释：“让我告诉你，安全第一，小朋友。火柴是给成年人小心使用的。这样做……”随后，它给出了详细步骤，最后还说：“做完后要吹灭它，像吹生日蜡烛一样。”

IT之家从报道中获悉，报告共同作者 RJ Cross 在接受采访时提供了重要建议：“这项技术非常新，几乎没有监管，目前有很多不明确的问题，特别是它如何影响孩子们。如果我是家长，我不会让孩子接触一个内置聊天机器人的泰迪熊。”