快速了解本文
蚂蚁百灵开源原生混合推理 MoE 模型 Ling-3.0-tiny，总参数 7.9B，推理时仅激活 1.3B。
模型提供 BF16、FP8、INT4 三种精度权重，已托管至 Hugging Face 与 ModelScope 的 inclusionAI 组织。
OpenRouter 与 Vercel 同步上线，限时免费至 2026-08-13 09:00 PT，由 Novita Labs 支持。
本摘要由 AI 辅助整理，请以正文内容为准。
数智朋克讯 蚂蚁百灵正式开源原生混合推理 MoE 模型 Ling-3.0-tiny，总参数 7.9B，推理时每 token 仅激活 1.3B。模型同步提供 BF16、FP8、INT4 三种精度权重，托管于 Hugging Face 与 ModelScope 的 inclusionAI 组织下，并已在 OpenRouter 与 Vercel 上线，限时免费至 2026-08-13 09:00 PT。
01128 专家 MoE 如何撑起 1.3B 激活
Ling-3.0-tiny 采用 3:1 KDA–MLA 混合注意力堆栈，搭配 128 个稀疏 MoE 专家，每个 token 激活 8 个路由专家与 1 个共享专家。这一架构使模型在较小激活参数下仍能保持较高容量，成为其资源效率的核心来源。
02跑分与真实任务表现
在第三方独立评测平台 Artificial Analysis 上，Ling-3.0-tiny 的 Intelligence Index 得分为 25，Agentic Index 为 16，GDPval-AA v2 为 772 Elo，τ³-Banking 为 20.80。更广泛的评测覆盖数学推理（IMO-AnswerBench 71.03）、研究生级问答（GPQA Diamond 73.40）、指令跟随（Multi-IF 83.15）与可靠性（非幻觉率 69.54）。
关键数据
社区对比显示，该模型在 Artificial Analysis 榜单中跑分超越 Qwen3.5 9B 与 Gemma4 12B，但这一横向参照来自用户截图，并非统一评测框架下的严格复现。
03本地硬件部署已验证
官方演示覆盖多种本地部署路径：
- 英伟达 DGX Spark 上以 FP8 运行，单请求约 100–105 tok/s，双请求聚合约 161 tok/s；
- MacBook 上本地运行 BF16/FP8，FP8 持续生成速度比 BF16 快约 30%；
- Mac mini 可作为常驻节点，用于私有知识、自动化与本地 API；
- 本地 macOS 上运行 Infinite Wiki Demo，TTFT 低于 100ms，支持离线、私有与零 API 成本。
官方演示场景包括本地推理与知识检索、本地网页翻译、工具使用与环境自动化控制，指向本地智能体与高频轻量工作负载。
04获取与试用
Ling-3.0-tiny 权重已开放下载，BF16、FP8、INT4 三种精度覆盖从高性能到极端资源受限的部署需求。未本地部署的开发者可通过 OpenRouter 与 Vercel 试用，限时免费至 2026-08-13 09:00 PT，由 Novita Labs 支持本次上线。
粤公网安备44030002001270号