大模型安全危机:周鸿祎警告攻击门槛降低,注入攻击风险飙

AI ToolBox
AI ToolBox
2025年7月23日

核心观点回顾

在2025中国互联网大会上,360集团创始人周鸿祎深入剖析了人工智能时代下大模型应用所面临的安全挑战。他指出,相比传统IT系统漏洞和数据泄露,大模型本身可能带来三类全新的安全风险。

风险一:大模型"幻觉"与信息误导

周鸿祎强调,大模型固有的"幻觉"问题是当前最突出的风险之一。他解释道,当大模型面对不熟悉的问题时,可能会在毫无察觉的情况下生成虚假信息。尽管这在娱乐场景中影响不大,但一旦应用于工业制造、政府办公等关键领域,便可能引发严重后果。尤其是当智能体具备操作工具能力后,错误判断的破坏性将被显著放大。

风险二:攻击门槛大幅降低

他进一步指出,大模型显著降低了网络攻击的门槛。如今,即便是非编程背景的人员,也能通过自然语言轻松编写程序。这同样意味着攻击者可以通过构造特定指令,诱导大模型泄露企业机密内容,即所谓的"注入攻击"。他举例道,未来一个普通的前台员工若心存不满,也可能利用大模型对企业发起攻击。

风险三:国家级攻击的智能化升级

从宏观层面来看,大模型的广泛应用将推动国家级高级威胁攻击向更高水平演进。周鸿祎指出,过去黑客数量有限,如今他们正尝试将自己的经验融入大模型,构建"黑客智能体"。一旦拥有强大算力支持,单个黑客便可操控数十甚至上百个智能体同时发起攻击,彻底改变传统网络攻防模式,使对抗从"人与人"升级为"人与算法、人与机器、人与算力"的多维较量。

360应对策略:以算法对抗算法

针对上述挑战,周鸿祎表示,360已启动两项核心应对措施:

  1. 构建智能体安全专家:帮助企业实现对攻击行为的实时监测与防御,真正落实"以算法对抗算法"的理念。
  2. 推出"大模型卫士":专门用于监控输入指令、评估输出内容的合理性与准确性。结合强大的搜索能力和企业知识库,"大模型卫士"可有效缓解大模型的"幻觉"问题。