Thinking Machines 发布 Inkling 2 Mini:循环 Transformer 让消费级硬件跑出 27B 模型性能

Thinking Machines Lab 发布开源多模态模型 Inkling 2 Mini,采用循环 Transformer 架构,在 20GB 内存占用下实现媲美 27B 密集模型的代理编程性能,推理成本降低 6 倍,为本地 AI 部署提供兼顾性能与成本的新路径。

朋克君
发布者朋克君
预计阅读 3 分钟
我要投稿
AI 摘要
约 1 分钟

快速了解本文

01

Inkling 2 Mini 以循环架构在 20GB 内存下实现 27B 模型性能。

02

单任务推理成本降低 6 倍,速度提升 4 倍。

03

模型适合本地部署及深度代理编程,非英语支持有限。

本摘要由 AI 辅助整理,请以正文内容为准。

由前 OpenAI CTO Mira Murati 创立的 Thinking Machines Lab 发布了开源多模态模型 Inkling 2 Mini。该模型采用 Apache 2.0 许可证,其核心突破在于通过循环 Transformer 架构,在约 20GB 的内存占用下实现了媲美 27B 参数密集模型的性能,同时将单任务推理成本降低了 6 倍,为本地 AI 部署提供了一条兼顾性能与成本的新路径。

01循环 Transformer:用计算次数换取推理深度

Inkling 2 Mini 是一个 24 层 decoder-only 稀疏 MoE 模型,拥有 128 个专家,每次激活 8 个。其架构创新在于:前 6 层和后 6 层各运行 1 次,中间 12 层使用共享权重循环运行 3 次。这种设计使每个 token 产生 48 个有效层应用和 5.4B 有效活跃参数。

在工程实现上,模型在训练和部署时原生采用 4-bit NVFP4(前 20 层)和 8-bit MXFP8(后 4 层)精度,并通过将专家数从 384 剪枝至 128、结合蒸馏和强化学习进行优化。权重以训练时使用的精确数值格式发布,避免了后训练量化常见的精度下降。这种策略在不增加模型存储 footprint 的前提下,通过增加计算次数显著提升了推理深度。

02代理编程表现与效率优势

在聚合智能基准测试(AA Intelligence Index v5.0)中,Inkling 2 Mini 得分 20.1,与阿里巴巴的 Qwen3.8-27B 持平。在代理编程和工具使用方面,该模型表现突出,DeepSWE v1.1 得分达到 48.2%,SWE-bench Verified 得分 79.2%。

循环架构带来了显著的效率提升。与 Qwen3.8-27B 相比,Inkling 2 Mini 的计算量减少约 2.8 倍,推理速度快 4 倍(单任务耗时从 38.2 分钟降至 9.0 分钟),单任务 API 成本从 3.53 美元降至 0.59 美元,降幅达 6 倍。

03硬件门槛与能力边界

Inkling 2 Mini 的内存占用约为 20GB,设计目标是在 32GB 内存的 MacBook Pro 或单张桌面 GPU 上完全离线运行。官方演示了在断网飞行模式下的 48GB M5 Pro MacBook Pro 上运行该模型。

尽管在代码和工具调用上表现优异,循环机制目前更擅长深度思考而非广度记忆。在事实回忆(AA-Omniscience v1.1 得分 -8.6)、多轮对话(MultiChallenge 50.0%)和复杂指令遵循(ComplexConstraints 33.4%)方面,Inkling 2 Mini 落后于 Qwen3.8-27B。此外,模型在中文等非英语语言中可能出现截断现象。开发者在选型时需根据任务类型进行权衡,该模型更适合深度推理的代理编程,而非知识问答或复杂多轮交互。随着后续版本迭代和训练数据的增加,这一能力边界可能会发生变化。

04可解释性与安全监控

针对循环机制可能带来的可解释性挑战,Thinking Machines 发布了变循环研究模型(TML-d24-varloop-research),并与 NDIF 和 Goodfire 合作进行研究。内部监控测试表明,循环将无 CoT 推理范围从 16 秒延长至 37 秒,但推理轨迹仍保持人类可读,初步测试显示循环未增加隐藏破坏行为的风险。

RELATED STORIES

继续阅读

围绕「Inkling 2 Mini」,继续阅读相关内容。