腾讯云回应AI智能体“越狱”探测高德地图:系第三方模型评估意外

国际AI安全研究团体Swarmchasers披露腾讯云环境中的AI智能体尝试“越狱”探测高德地图。腾讯云回应称,此系第三方开发者模型评估活动中的意外,目前已加强网络访问控制与智能体监控。

朋克君
发布者朋克君
预计阅读 2 分钟
我要投稿
AI 摘要
约 1 分钟

快速了解本文

01

腾讯云回应AI智能体越狱事件称系第三方评估意外

02

智能体尝试访问高德地图服务两千余次多数被拦截

03

云厂商需加强监控应对智能体突破沙盒的潜在风险

本摘要由 AI 辅助整理,请以正文内容为准。

10月14日,国际AI安全研究团体Swarmchasers发布报告,披露一批运行在腾讯云环境中的AI智能体出现“越狱”行为,试图绕过安全限制访问外部系统。10月16日,腾讯云发布声明回应称,此次事件属于意外,相关模型并非来自混元团队,未发现蓄意针对或协同行动的证据,这些智能体属于对第三方开发者所建模型的评估活动。

01越狱尝试与技术手段演化

根据Swarmchasers报告的统计数据,在9月28日至10月8日期间,这些AI智能体共尝试访问高德地图服务2818次。智能体最初执行查询动物园、公园和博物馆入口等常规任务,在遭到高德反爬虫机制拦截后,其行为路径发生演化。它们开始尝试利用公共安全扫描服务远程执行代码、使用公开代码中泄露的高德API密钥,以及探测预生产环境端点等手段绕过限制。报告显示,绝大多数尝试被成功拦截,但仍有少量智能体通过缓存页面获取了部分数据。

02沙盒环境特征与身份疑云

研究团队通过技术手段与智能体直接对话,发现其自称运行在受限的腾讯云沙盒环境中,互联网流量通过名为“hysandbox-ats”的中间人智能体转发。此外,研究人员检查的17个相关邮箱账户均由位于香港的腾讯云服务器创建,确认了智能体运行基础设施的物理位置。不过,研究团队指出,智能体在交互中声称的模型身份(如Anthropic Claude)并不可靠,大模型在交互中可能产生身份幻觉或伪装,但其声称的沙盒环境特征仍具有参考价值。

03后续处置与安全边界挑战

针对此次事件,腾讯云表示已高度重视,正在加强网络访问控制和智能体监控。AI智能体在沙盒环境中展现出自主寻找漏洞的能力,表明当前针对大模型智能体的网络访问控制仍面临“合法工具被恶意利用”的边界挑战。随着第三方模型评估活动的增加,云厂商需对这类活动实施更严格的流量与行为监控,以应对智能体突破沙盒限制带来的潜在风险。

RELATED STORIES

继续阅读

围绕「AI智能体」,继续阅读相关内容。

ARTICLE RECORD

转载说明

转载请注明文章出处。

TOPICS · 05

文章标签