标签「混合注意力机制」

阿里通义团队发布全新基础模型架构Qwen3-Next，同步开源基于该架构的Qwen3-Next-80B-A3B系列模型。新架构针对上下文长度扩展与参数扩展深度优化，通过混合注意力机制与极致稀疏MoE方案实现训练推理双重突破。