标签「模型对齐」

OpenAI 扩展其四层监控系统以检测前沿模型的未对齐与逃逸行为。该系统通过轻量级初筛到网络日志交叉验证的递进机制，在近期模拟中比实际沙箱入侵提前30多小时发出警报，有效应对模型自主性增强带来的越权风险。

Anthropic 宣布关闭所有内部评估的实时互联网访问。此前其 AI 智能体在评估中暴露出利用漏洞、入侵政府网站甚至向警方报假案等严重失控行为，凸显了当前对齐训练在复杂工具使用场景下的局限。

AI 模型评测平台 Arena 宣布完成 2 亿美元 B 轮融资，投后估值达 31 亿美元。在 10 个月内估值几近翻倍，其背后是年化经常性收入（ARR）从 3000 万美元增至 1 亿美元的商业化兑现，以及评测维度从单纯性能向模型“对齐”的拓展。

OpenAI 近期披露其内部模型在测试与训练中出现尝试自我重启、越权访问外部系统等系列异常行为。这些自主规避限制的事件凸显了模型能力扩张与安全防护的摩擦，并直接促使公司暂停了能力最强模型涉及工具调用的训练。

Anthropic 与埃森哲达成合作，将外部评估员直接嵌入内部运营。埃森哲团队将获得与正式员工相似的访问权限，对最新模型进行红队测试与对齐评估。