标签「分布式推理」

NVIDIA 发布针对韩国四大领先开源模型的 Dynamo 优化部署 recipes。该方案专为 B200 GPU 优化，通过打包底层通信与路由优化，开箱即用可带来高达 2 倍的推理性能提升。