如何应对Agent的越权风险?网易智企谈了一个前提
2026-11-17 21:09:32
  • 0
  • 0
  • 0

“当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。

“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。

11月3日,在2026年世界互联网大会“互联网之光”博览会上,网易智企首发基于易盾“AI赋能安全×安全保障AI”双向架构的AI原生安全产品体系。网易智企副总经理、易盾业务负责人朱浩齐在精品首发论坛的主题分享。同时在红亭安全论坛上,易盾内容安全负责人饶晓艳结合大模型规模化应用中的风险与治理实践。

这次发布与两场分享共同提出的核心判断是:AI安全不能只在模型输出端“把关”,而要贯穿AI应用的运行过程。一方面,用AI提升安全能力;另一方面,把安全机制延伸至内容与数据、身份交互、权限管理、工具调用和行为执行。AI越接近企业真实业务,安全越不能停留在外围,而要进入具体场景和工作流程,成为AI应用能够规模化运行的基础治理能力。

双向AI安全架构
构建面向AI原生时代的安全体系

生成式AI早期大多承担问答、写作、搜索和内容生成任务。彼时,企业的安全关注点较为集中:生成内容是否违规,回答中是否包含敏感信息,模型会不会被不当提示词诱导。

但随着AI进入营销、客服、办公、研发、知识库、身份核验和交易运营等业务链路,风险对象发生了变化。AIGC内容风险、深度伪造、自动化黑产、模型越狱、敏感数据泄露之外,Agent越权执行、工具调用失控等问题开始进入企业视野。

内容审核可以判断一段话是否合规,却未必能够回答一个智能体是否理解了原始任务,是否被上下文中的恶意指令改变了目标,是否调用了不该调用的工具,以及是否在权限之外执行了操作。这也是AI从“说”走向“做”之后,安全治理必须面对的新命题。

朱浩齐提到,传统安全更多是用门锁、门禁等方式防范外部入侵;而在AI进入业务后,风险还可能来自拥有一定权限、能够操作系统的AI本身。AI一旦在执行环节出现偏差,影响可能不再停留在内容层面,而会延伸至账户、数据和业务系统。

网易智企·易盾在大会上提出的“双向AI安全架构”,正是对这一变化的回应。双向AI安全架构的核心是:AI for 安全,安全 for AI。

AI for 安全:用AI重新提升安全能力。借助垂类模型、多Agent协同与多模态理解,AI可以自动分析内容与威胁数据、生成并验证安全策略,安全人员从依赖人工写规则,转为对运行结果做验收确认。朱浩齐在现场说:“要用AI来对抗,要用魔法打败魔法。靠人去对抗AI,是根本对抗不过来的。”

安全 for AI:用安全能力保障AI可控运行。围绕大模型输入输出、身份交互、数据访问、智能体的工具调用与行为执行,建立内容检测、意图识别、权限控制、风险拦截与审计追踪能力,让AI在明确的边界内运行。

前者解决的是安全能力如何跟上AI带来的新型攻击和风险规模,后者解决的是AI应用自身如何在企业环境中受控运行。两个方向由统一的AI安全能力底座支撑,涵盖风险识别、实时防护、评测决策与持续运营,帮助企业从单点风险防控走向覆盖内容、身份、业务、模型与智能体的体系化治理。

内容、身份与行为:
三层体系覆盖AI应用关键环节

如果说双向架构回答的是AI安全“为什么需要升级”,那么产品体系回答的则是企业究竟要治理哪些风险。

网易智企·易盾将AI原生安全产品体系划分为三层:AI内容与数据安全、AI交互与身份安全、AI模型与智能体安全。三层并不是简单按产品类别划分,而是对应AI进入企业之后的三类可信问题:内容和数据是否可信,交互对象是否可信,AI的任务和行为是否可控。

第一层是内容与数据安全。面对文本、图片、音频、视频、直播、文件等多种内容形态,CMA审核智能体尝试将内容治理组织为“研判、分流、处置、反馈、优化”的闭环:基础机审先完成预处理,再由内容安全大模型结合上下文、行业知识和业务规则进行研判;低风险和高确定性结果可被分流处置,存疑或争议内容则交由人工复核,人工结果再回流优化策略。

这一设计的重点并非以AI完全替代人工审核,而是重新安排机器与人的分工。机器处理高频、重复、标准化程度较高的内容,人工聚焦复杂语境、边界判断和高风险处置。

在网易智企提供的某投诉工单审核案例中,月均工单量超过250万,采用“CMA智能体初审+人工复核”后,平均出审时长由纯人工审核的35.7分钟缩短至12.3分钟,审核准确率为99.2%。这一结果仅对应特定客户场景,不能外推为所有内容审核任务的通用效果,但也说明内容安全产品的价值,正在从简单筛查走向流程协同。

第二层是交互与身份安全。AI换脸、屏幕翻拍、打印照片、3D面具、摄像头劫持和视频注入等攻击方式,使“看起来像真人”不再等于“就是本人”。DeepGuard人脸鉴伪尝试将Deep fake检测、AI水印识别、静默活体和注入攻击环境检测结合起来,进行多模态联合决策。

据了解,DeepGuard人脸鉴伪通过中国信息通信研究院“可信AI”人脸鉴伪能力专项评测,获“卓越级”,评测覆盖生成式攻击、呈现攻击和注入攻击。具体指标则必须限定测试场景:在阶段性测试中,屏幕翻拍、怼屏攻击的召回率为99%、精度为96%。这些数据反映的是特定攻击类型和测试条件下的表现,而非对所有身份伪造风险的普遍承诺。

第三层则指向AI模型与智能体安全。当智能体能够读取资料、连接系统、调用工具并执行任务时,治理对象不再只是输入的一句话或输出的一段文字,而是“接收什么、理解什么、可以做什么、实际做了什么”的完整任务链路。

易盾通过大模型安全围栏覆盖输入输出,通过Agent Guard覆盖意图一致性校验、权限控制、工具调用风险检测和行为拦截,并通过智能体安全平台处理AI资产发现、Skill与MCP供应链安全检测、敏感数据防泄漏等问题。

从内容、身份到行为,三层体系的共同点是把安全对象向AI应用运行过程延伸。内容是否合规、身份是否真实、权限是否合理、操作是否符合原始目标,这些问题在企业AI应用中并非彼此割裂,而会共同决定一个智能体是否值得被授予更多能力。

从产品体系到业务流程
红亭论坛给出的治理实践

产品体系能够覆盖什么,只是安全治理的第一层问题。企业真正需要回答的是,安全能力如何进入具体业务流程,并在AI应用运行过程中持续发挥作用。

在红亭安全论坛上,网易智企·易盾内容安全负责人饶晓艳以《大模型规模化应用中的安全治理实践》为主题,将企业AI应用划分为三个阶段。

在AIGC内容生产阶段,风险更多体现在内容的数量和传播速度,治理重点包括内容审核、生成标识和传播追溯;进入知识与业务辅助阶段,企业更关心数据风险,治理重点转向最小数据权限、知识溯源和人工复核;当AI进一步进入Agent任务执行阶段,风险则落在具体动作上,企业需要关注任务级授权、操作确认和执行审计。

这一划分揭示了一个重要事实:AI风险并不是静止的。企业并非部署了一个大模型之后,再为它补上一套统一规则即可。不同阶段对应不同风险对象,也需要不同的安全管理动作。

饶晓艳在论坛上表示:“整个AI的风险是越来越高的:AI进入业务越来越深,攻击门槛越来越低,攻击速度越来越快。”

这意味着,企业不能只在模型输入前或输出后设置单点防护。提示词攻击可能伪装成普通问答、角色设定,也可能隐藏在网页、文件、API、工具或MCP返回内容中。安全系统除了识别关键词,还需要结合指令结构、上下文和语义意图,判断一段信息究竟是任务数据,还是试图改变任务目标的行为指令。

在红亭安全论坛上,饶晓艳也把讨论落到了大模型应用的具体环节。面对可能隐藏在网页、文件或工具返回内容中的恶意指令,防护需要前移到模型调用和上下文组装之前;面对模型输出,也不能只有“拦”或“放”两种处理,而要根据风险分级,允许通过的内容先行展示,对存疑内容复审,对高风险内容撤回并拒答。

治理还要覆盖模型使用的数据和交互对象。饶晓艳分享的实践包括:训练语料进入模型前进行敏感隐私识别、字段级脱敏和AI机审;针对复杂身份伪造场景开展多模态身份鉴伪。对于Agent执行任务,则需关注任务级授权、操作确认和执行审计。

这些做法让AI安全从抽象要求落到了应用流程:指令进入前设防,输出过程中分级处置,训练数据经过清理,身份与任务执行纳入管理。安全因此不只是模型上线前的一次检查,也需要伴随应用运行持续开展。

AI安全的下一程
从单点防护走向持续治理

从大会发布到红亭论坛的实践,可以看到AI安全正在发生一场重心迁移:从判断模型输出是否合规,走向管理AI应用是否在边界内运行。

这并不意味着传统内容安全不再重要。恰恰相反,内容、数据、身份、模型和智能体行为之间的关联越来越紧密,单点能力必须被纳入更完整的治理系统。一个Agent的工具调用是否安全,既取决于它能否识别恶意提示词,也取决于它是否获得恰当权限、是否接触敏感数据、是否保留了可追溯的执行记录。

对企业而言,AI安全的难点不只是识别已经出现过的风险。静态黑名单和关键词匹配可以处理部分明确、固定的问题,但当智能体需要结合上下文理解任务、调用工具并连续执行多个步骤时,安全判断就必须进入任务本身。

系统需要辨别智能体是否仍在执行用户原本要求的目标,调用的权限是否与当前任务相符,最终操作是否符合业务规则。仅检查某一句输入或输出,已经难以判断一项复杂任务是否安全。

来源:IDC咨询公众号,兴业证券经济与金融研究院整理

这也要求安全机制覆盖AI应用运行的完整链路。风险可能出现在知识库引用、数据访问、插件连接、工具调用,也可能在执行结果返回和后续反馈时暴露。企业需要把安全能力部署到这些实际环节中,使风险识别与处置能够跟随AI工作流展开,而不是只在模型输入或输出的某个接口前后设置一道防线。

同时,模型能力、攻击方式和业务流程都在持续变化,一次性配置难以长期覆盖新的风险。企业需要在应用运行中持续观察效果,并根据实际问题调整策略。红队测试、运行监控、人工复核、效果评估和策略更新因此不能是彼此孤立的动作,而要形成常态化治理过程,让安全机制随着应用场景和运行情况不断校准。

这也是AI安全与传统软件安全相比更具挑战的地方。大模型的输出和行为具有概率性,安全系统既要降低风险,又要尽量避免过度拦截影响业务体验。企业需要的不是一个承诺“绝对安全”的产品,而是一套能够识别风险、设定边界、发现异常、及时拦截并持续修正的运行机制。

随着AI获得越来越强的行动能力,安全也必须拥有与之匹配的理解力、判断力和治理能力。正如朱浩齐分享所言:“如果有一天AI技术变成水电煤一样,成为生活中的基础能力,那我也希望易盾的安全能力能融入日常生活,并且最好是无感知的。”当AI开始替企业做事,安全不仅要知道AI说了什么,更要知道AI正在做什么,以及它是否应该这样做。

网易智企·易盾此次在乌镇首发产品体系,并通过红亭论坛呈现大模型规模化应用中的治理实践,其释放出一个明确信号:当AI逐步从内容生成工具转向参与企业经营的行动者,安全的任务也必须从“看住输出”升级为“理解并约束行为”。

从产品架构到企业实践,讨论最终落在同一个问题上:AI能完成更多任务,不代表企业就能放心把任务交给它。只有当数据访问有边界、操作执行有授权、过程结果可追溯,AI的能力才可能真正进入业务流程,成为可管理、可持续使用的生产力。

文:几重山月 / 数据猿

责编:凝视深空 / 数据猿

 
最新文章
相关阅读