英伟达 Blackwell 架构 GPU 实现 AI 推理性能突破 单节点运行 6710 亿参数模型

技术验证数据显示，当采用TensorRT-LLM框架进行优化时，系统在1024输入Token/2048输出Token的标准测试集上展现出每秒30,000 Token的峰值吞吐能力，相当于在单台设备上同步处理120个高复杂度推理任务。

黄仁勋在主题演讲中强调，Blackwell架构的稀疏计算单元与动态张量核心技术是突破算力瓶颈的关键，其第三代Transformer引擎可针对大语言模型特性实现硬件级优化。

值得注意的是，此次测试全程采用FP8混合精度模式，在保持模型精度的同时将显存占用压缩至传统FP16格式的60%，这使得单机部署千亿级参数模型成为可能。行业分析师指出，该突破将直接推动AI助手、实时代码生成等场景的商业化落地进程，预计年内将有基于该架构的云服务产品面市。