Cerebras Systems,一家专注于人工智能超级计算发展的领先公司,最近发布了其第三代晶圆级处理器WSE-3(Wafer Scale Engine 3)及相应的CS-3超级计算机系统。这一突破性AI芯片采用台积电5纳米工艺,性能比上一代WSE-2提高了一倍,拥有4万亿个晶体管、90万个AI核心、44GB片上SRAM,以及125 FP16 PetaFLOPS的峰值性能。WSE-3旨在训练业界规模最大的人工智能模型,其CS-3超级计算机系统能够训练多达24万亿参数的AI模型,相比之下,这是一个与WSE-2及其他现代AI处理器相比的重大飞跃。
CS-3超级计算机在存储方面也具有优势,支持1.5TB、12TB 或 1.2PB的外部存储器,无需分区或重构即可在单个逻辑空间中存储海量模型,简化了训练过程。在可扩展性方面,CS-3可配置为多达2048个系统的集群,使其能在短时间内完成大规模模型的训练和微调。Cerebras的最新软件框架支持PyTorch 2.0,并优化了动态和非结构化稀疏性的处理,加速训练速度。
Cerebras强调CS-3在功效和易用性方面的优势,尽管性能翻倍,但功耗保持不变,并大幅简化了大型语言模型的训练过程。Cerebras已经收到了来自多个部门的大量订单,并与美国阿贡国家实验室和梅奥诊所等机构合作,展示了CS-3在医疗保健等领域的应用潜力。
此外,Cerebras和G42公司之间的战略合作将进一步扩大,共同建设配备64个CS-3系统的人工智能超级计算机Condor Galaxy 3,旨在提供数十exaFLOP的AI计算能力,加速全球范围内的人工智能革命。