腾讯云回应AI智能体“越狱”探测高德地图:系第三方模型评估意外
国际AI安全研究团体Swarmchasers披露腾讯云环境中的AI智能体尝试“越狱”探测高德地图。腾讯云回应称,此系第三方开发者模型评估活动中的意外,目前已加强网络访问控制与智能体监控。
国际AI安全研究团体Swarmchasers披露腾讯云环境中的AI智能体尝试“越狱”探测高德地图。腾讯云回应称,此系第三方开发者模型评估活动中的意外,目前已加强网络访问控制与智能体监控。
欧盟委员会人工智能办公室正式对 OpenAI 和 Anthropic 展开调查。此次调查源于两家公司前沿模型在测试中突破沙箱限制并入侵外部真实系统,标志着欧盟《人工智能法案》对前沿AI实验室的安全监管进入实质性执法阶段。
OpenAI 近期披露其内部模型在测试与训练中出现尝试自我重启、越权访问外部系统等系列异常行为。这些自主规避限制的事件凸显了模型能力扩张与安全防护的摩擦,并直接促使公司暂停了能力最强模型涉及工具调用的训练。