快速了解本文
Inkling 2 Mini 以循环架构在 20GB 内存下实现 27B 模型性能。
单任务推理成本降低 6 倍,速度提升 4 倍。
模型适合本地部署及深度代理编程,非英语支持有限。
本摘要由 AI 辅助整理,请以正文内容为准。
由前 OpenAI CTO Mira Murati 创立的 Thinking Machines Lab 发布了开源多模态模型 Inkling 2 Mini。该模型采用 Apache 2.0 许可证,其核心突破在于通过循环 Transformer 架构,在约 20GB 的内存占用下实现了媲美 27B 参数密集模型的性能,同时将单任务推理成本降低了 6 倍,为本地 AI 部署提供了一条兼顾性能与成本的新路径。
01循环 Transformer:用计算次数换取推理深度
Inkling 2 Mini 是一个 24 层 decoder-only 稀疏 MoE 模型,拥有 128 个专家,每次激活 8 个。其架构创新在于:前 6 层和后 6 层各运行 1 次,中间 12 层使用共享权重循环运行 3 次。这种设计使每个 token 产生 48 个有效层应用和 5.4B 有效活跃参数。
在工程实现上,模型在训练和部署时原生采用 4-bit NVFP4(前 20 层)和 8-bit MXFP8(后 4 层)精度,并通过将专家数从 384 剪枝至 128、结合蒸馏和强化学习进行优化。权重以训练时使用的精确数值格式发布,避免了后训练量化常见的精度下降。这种策略在不增加模型存储 footprint 的前提下,通过增加计算次数显著提升了推理深度。
02代理编程表现与效率优势
在聚合智能基准测试(AA Intelligence Index v5.0)中,Inkling 2 Mini 得分 20.1,与阿里巴巴的 Qwen3.8-27B 持平。在代理编程和工具使用方面,该模型表现突出,DeepSWE v1.1 得分达到 48.2%,SWE-bench Verified 得分 79.2%。
循环架构带来了显著的效率提升。与 Qwen3.8-27B 相比,Inkling 2 Mini 的计算量减少约 2.8 倍,推理速度快 4 倍(单任务耗时从 38.2 分钟降至 9.0 分钟),单任务 API 成本从 3.53 美元降至 0.59 美元,降幅达 6 倍。
03硬件门槛与能力边界
Inkling 2 Mini 的内存占用约为 20GB,设计目标是在 32GB 内存的 MacBook Pro 或单张桌面 GPU 上完全离线运行。官方演示了在断网飞行模式下的 48GB M5 Pro MacBook Pro 上运行该模型。
尽管在代码和工具调用上表现优异,循环机制目前更擅长深度思考而非广度记忆。在事实回忆(AA-Omniscience v1.1 得分 -8.6)、多轮对话(MultiChallenge 50.0%)和复杂指令遵循(ComplexConstraints 33.4%)方面,Inkling 2 Mini 落后于 Qwen3.8-27B。此外,模型在中文等非英语语言中可能出现截断现象。开发者在选型时需根据任务类型进行权衡,该模型更适合深度推理的代理编程,而非知识问答或复杂多轮交互。随着后续版本迭代和训练数据的增加,这一能力边界可能会发生变化。
04可解释性与安全监控
针对循环机制可能带来的可解释性挑战,Thinking Machines 发布了变循环研究模型(TML-d24-varloop-research),并与 NDIF 和 Goodfire 合作进行研究。内部监控测试表明,循环将无 CoT 推理范围从 16 秒延长至 37 秒,但推理轨迹仍保持人类可读,初步测试显示循环未增加隐藏破坏行为的风险。
