浪潮信息发布“源2.0-M32”开源大模型

浪潮信息推出“源2.0-M32”大模型，采用“基于注意力机制的门控网络”技术，构建32个专家的混合专家模型（MoE），显著提升了算力效率。M32在仅激活37亿参数的情况下，达到了与700亿参数LLaMA3相当的性能，所消耗算力仅为LLaMA3的1/19。