标签「TensorRT-LLM」

魔搭社区近日推出 NVIDIA TensorRT-LLM，极大提高了大语言模型的推理性能。这一举措使得模型即服务（MaaS）理念进一步落地，促进了大模型在实际应用中的效率和价值释放。