AI 摘要
快速了解本文
01
百度发布ERNIE 5.5 Flash Preview模型，总参数2800亿。
02
采用MoE架构，每次推理仅激活140亿参数以降低成本。
03
支持高达100万tokens的上下文窗口，提升长文本处理能力。
04
预计于2026年11月25日向开发者和研究人员开放模型权重。
本摘要由 AI 辅助整理，请以正文内容为准。
数智朋克讯 11月11日，百度正式发布ERNIE 5.5 Flash Preview模型。该模型总参数量约为2800亿，支持高达100万tokens的上下文窗口，并采用混合专家（MoE）架构以实现更高效的推理表现。
作为ERNIE 5.5 Flash系列中首个完成后训练的模型，ERNIE 5.5 Flash Preview在其基础模型公开6天后推出。后训练阶段使原始模型学习遵循指令并具备实用行为，确立了其在系列中的定位与开发进度。
在架构设计上，该模型通过MoE架构实现了大模型知识储备与小模型运行成本的结合。虽然总参数规模达到2800亿，但在每次处理token时，系统通过路由机制将输入分配给专门的子网络，仅激活140亿参数，占总参数的二十分之一，其余参数保持闲置。这使其在保持2800亿参数级能力的同时，大幅降低了单次推理的计算开销。
百度预计将于2026年11月25日面向开发者和研究人员开放该模型的权重。