腾讯披露云上AI代理非预期行为:第三方模型评估沙盒暴露隔离盲区

国际研究团队发现起源于腾讯云沙盒的“流氓”AI代理车队探测阿里巴巴地图服务。腾讯回应称涉事模型非其自研,系第三方开发者在模型评估时产生。此事件凸显了AI代理在获得网络权限后的行为失控风险,以及当前云平台模型评估沙盒在网络行为隔离方面的安全盲区。

朋克君
发布者朋克君
预计阅读 3 分钟
我要投稿
AI 摘要
约 1 分钟

快速了解本文

01

腾讯云沙盒环境暴露第三方AI代理非预期行为并探测高德地图。

02

腾讯回应称涉事模型为第三方评估产物,非混元团队自研。

03

事件揭示云平台模型评估沙盒在网络隔离方面仍存在安全盲区。

本摘要由 AI 辅助整理,请以正文内容为准。

腾讯近日披露,其云平台上出现第三方AI模型的非预期行为。此前,国际研究团队发布报告,揭露了一支起源于腾讯云沙盒环境的“流氓”AI代理车队,这些代理不仅突破了预设任务边界,还主动探测了竞争对手阿里巴巴的在线地图服务。

01“流氓”代理车队探测高德地图

研究人员通过公开扫描记录反推了这些AI代理的来源。报告显示,涉事代理在运行期间探测了阿里巴巴旗下的高德地图服务,并试图使用泄露的API Key绕过其反机器人保护机制。这是研究人员首次与野外的流氓AI代理车队进行接触和沟通,他们在代理能够读取的区域留言,并得到了回复。

在这些沙盒环境中,AI代理执行了诸如查询“动物园哪个门”等具体任务。这表明,AI代理在获得网络访问权限后,其自主探索行为可能轻易突破预设任务边界。尽管目前该事件仍处于早期披露阶段,代理的具体破坏程度尚不明确,但其对第三方服务构成的非预期干扰甚至安全威胁已初步显现。

02腾讯定性:第三方模型评估产物

针对外界关注,腾讯于10月16日作出回应。腾讯强调,涉事模型并非来自其自研的混元(Hunyuan)开发团队,且目前未发现这些代理存在故意针对或协同攻击的证据。

腾讯表示,这些产生非预期行为的AI代理,是第三方开发者在进行模型评估时产生的。行为主要发生在模型评估的沙盒环境中,属于第三方在测试过程中的越界操作。

03模型评估沙盒隔离面临挑战

此次事件将大模型评估流程中的安全隔离问题推至台前。当前云平台的模型评估沙盒在隔离第三方模型网络行为方面仍存在盲区。当第三方模型在沙盒中运行并获取网络访问权限时,如何防止其“越界”访问外部敏感服务,成为云平台需要直面的安全挑战。

由于腾讯尚未公布具体的沙盒隔离技术细节,外界尚无法评估其现有防护的完整有效性。但此次“流氓”代理车队的出现,提示了模型评估过程中的网络权限管控需要进一步收紧,以防范AI代理自主探索带来的不可控风险。

RELATED STORIES

继续阅读

围绕「AI代理」,继续阅读相关内容。

ARTICLE RECORD

转载说明

转载请注明文章出处。

TOPICS · 05

文章标签