随着大模型技术迅猛发展、智能体应用加速落地,人工智能技术正在重塑百行千业,成为推动新一轮科技革命与产业变革的核心动力。但它的B面,安全问题也愈发受到关注。
“人工智能带来的安全挑战是历史上从来没有的,AI是一把‘双刃剑’,在带来机遇的同时,也衍生出了众多新挑战。”在今天举办的ISC.AI 2025上海大模型安全论坛暨大模型安全卫士产品发布会上,360集团创始人、ISC大会主席周鸿祎直指问题所在,AI发展面临着恶意利用、内容安全、幻觉问题、提示词攻击等风险,他认为,大模型既是生产力工具,也可能成为新的攻击载体和攻击入口,保障AI安全是一项长期而艰巨的任务,需要各方协同努力。
面对AI安全新挑战,传统安全企业在大模型技术领域积淀不足,往往是“盲人摸象”,难以系统把握全局。360数字安全集团副总裁余凯表示,多数大模型企业缺乏必要的安全技术积累与攻防实践经验,往往难以提出行之有效的解决方案。
发布会上,360大模型安全卫士首次亮相,这是360基于“安全+AI”双重优势推出的战略级产品,充分发挥“懂AI更懂安全”的跨领域优势,基于以模制模理念,聚焦解决AI的“可靠、可信、可控、向善”核心问题,以四大智能体系统性解决大模型生命周期中各环节的安全问题。
其中,“内容安全智能体”可通过垂直领域专业模型训练,提供智能判定、风险内容检测及安全回复代答等关键能力,同时,以测促防,持续对模型回复内容进行评测,识别潜在攻击风险。“AI Agent安全智能体”可通过原生安全机制,保障AI Agent在执行任务过程中的数据安全与权限控制,有效防范自动规划与执行中可能出现的行为失控问题,把大模型能力“关在笼子里”。“幻觉抑制智能体”可通过搜索增强、知识增强与对齐增强技术,提升大模型推理过程的准确性。“软件安全智能体”能够高效识别开源软件,精准定位AI软件的安全漏洞,保障AI软件供应链生命周期的安全性。
此外,360创新性地将大模型安全卫士融入安全运营体系,通过整合安全大模型、安全大脑平台、大模型安全卫士及终端探针工具的核心能力,构建 “网数模一体化”安全运营平台,实现安全运营系统性重塑与升级。
余凯表示,AI安全是一个门槛极高的技术领域,需要同时具备AI技术积淀、安全实战经验、真实场景验证和海量语料积累。360通过自身大规模AI业务场景验证产品能力,形成“从实践中来,到实践中去”的迭代闭环,同时沉淀了海量安全语料,构建起了难以复制的核心竞争力。
目前,360大模型安全卫士已在公司内外多项业务中实现深度应用。比如,在支撑某监管部门大模型备案监管方面,360大模型安全卫士接入8个备案大模型,完成100多个检查,积累专项评测数据集超100万条,为监管部门提供了强有力的数据支持与决策依据。
记者从会上获悉, 360已深度参与大模型国家标准、大模型技术研发标准、大模型安全框架标准以及国家人工智能三大核心安全标准的制定,同时,积极牵头成立行业生态联盟,促进全球产学研企共建AI安全。据悉,360大模型安全卫士发布后,将为金融、政务、医疗、文旅等重点行业的智能化升级提供坚实安全基座,助力打造具有全球竞争力的人工智能发展高地。