DIGIPUNK
去投稿

AMD 开源 GAIA 生成式 AI 框架 实现 Windows 终端大模型端侧部署

AMD 向开发者社区开源其 GAIA 生成式 AI 应用框架,通过整合 ONNX TurnkeyML 工具链与锐龙 AI 300 系列 NPU 加速,实现 70 亿参数大模型在消费级硬件的毫秒级推理。该框架独创隐私计算架构与混合精度部署方案,在保持 FP16 精度的同时通过 INT8 量化压缩实现显存占用减半,满足 GDPR/CCPA 合规要求。

2025年03月23日