快速了解本文
腾讯混元 Hy4 大模型正式开源,覆盖多个版本并允许商业使用。
Hy4 flash 以极致性价比在 OpenRouter 登顶 LLM 日榜首位。
Hy4 flash 单任务成本低至 0.26 元,解码速度超过 150 tps。
本摘要由 AI 辅助整理,请以正文内容为准。
数智朋克讯 11月20日,腾讯混元团队宣布 Hy4 大模型正式开源,模型权重在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线。至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、Hy4 及 Hy4 flash 等版本。
本次开源的 Hy4 采用 MoE 混合专家架构,总参数量达 770B,激活参数 49B,上下文窗口突破 100 万 Token。Hy4 及 Hy4 preview 均采用 Apache 2.0 许可证,允许商业使用与修改,降低了企业商业化门槛。此外,腾讯玄武与科恩实验室对模型进行了安全审计,发布的模型安全评估卡片显示,训练数据已剔除攻击性网络安全数据,未发现明显的进攻性能力风险。
在旗舰版开源的同时,混元矩阵中的轻量级版本 Hy4 flash 展现出极高的工程落地价值。该模型总参数量约 224B,每个 Token 仅激活约 12B 参数,支持 100 万 Token 上下文及多模态输入。在定价上,Hy4 flash 每百万 Token 输入仅需 0.5 元,输出 2 元,命中缓存时低至 0.02 元。在覆盖 PPT 制作、文档编辑等典型任务的内部评测集 WorkIndex 上,其单任务成本约为 0.26 元,仅为 Hy4 preview 的 1/13、Hy4 的 1/20。
关键数据
Hy4 flash 的低成本与高吞吐得益于底层架构优化。通过混合注意力、LatentMoE 和 Engram 等设计,其 KV Cache 被压至 Hy4 的 1/6,结合量化与 DFly 技术,解码速度超过 150 tps。后训练阶段的自蒸馏与强化学习更使端到端任务输出长度降低 50%。凭借接近旗舰模型的日常任务效果与极致性价比,Hy4 flash 上线首日 Token 调用量突破 50 万亿,在全球大模型聚合平台 OpenRouter 登顶 LLM 日榜首位。
