快速了解本文
英特尔推出专为大模型推理设计的容器化微服务 Intel Inference Microservices。
该方案基于 vLLM 引擎，支持在 Xeon 服务器上自动检测硬件并应用预验证配置。
服务要求第 4 至第 6 代 Xeon 处理器，未来将扩展支持英特尔 GPU 平台。
本摘要由 AI 辅助整理，请以正文内容为准。
数智朋克讯 2026年10月14日，英特尔宣布推出 Intel Inference Microservices。这是一款专为大语言模型推理设计的容器化微服务解决方案，旨在通过将复杂的硬件调优过程封装在容器内，消除企业在现有 Xeon 服务器上部署大模型时跨模型、跨芯片代际需要反复手动调优的痛点。
该微服务基于 vLLM 引擎构建，支持 BF16 精度，并通过标准端口暴露 OpenAI 兼容的 API 接口，以降低开发者的接入成本。
在核心机制上，容器在启动时会自动检测主机的英特尔处理器型号、核心数、NUMA 节点及内置加速器（如 AMX、AVX-512、AVX2 和 VNNI），并自动应用英特尔预验证的配置参数。若容器无法识别主机硬件，将报错并停止启动；基础镜像则默认启用配置回退机制，在无特定模型配置时使用通用兼容配置，保障部署稳定性。
部署该服务要求环境兼容 Docker 或 Kubernetes 1.24 及以上版本，硬件需为第 4 至第 6 代英特尔 Xeon 处理器，推荐至少配备 32GB 内存。
英特尔表示，这是实现跨硬件统一推理接口的第一步。未来该微服务模型将扩展至英特尔 GPU 平台（如代号 Crescent Island 的 GPU），应用端无需重写代码即可迁移。同时，该服务的底层优化已贡献至开源上游项目，后续计划增加 Helm Charts、Kubernetes Operators、额外推理引擎及增强精度支持，进一步通过标准化接口和生态融合巩固其在 AI 推理基础设施中的地位。