快速了解本文
NVIDIA 发布仅需 4GB 显存即可运行的 Nemotron 3.5 Bolt E4B 本地模型。
该模型跳过监督微调，仅使用强化学习以优化语音代理的简短对话表现。
在 21 项基准测试中，其推理模式有 15 项得分领先于同类竞品模型。
本摘要由 AI 辅助整理，请以正文内容为准。
数智朋克讯 NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB，这是一个专为本地对话代理设计的小型语言模型。该模型总参数为 8B，有效参数为 4B，支持 64K 上下文长度，仅需约 4GB 显存即可运行，主要面向设备和语音助手、游戏 NPC 等交互式角色，以及机器人接口等嵌入式或工业代理场景。
关键数据
在硬件兼容性方面，该模型可在 GeForce RTX、Jetson、RTX Spark 和 DGX Spark 等硬件上运行。NVIDIA 提供的 Q4_K_M 量化版检查点在 RTX 显卡上测试时，显存占用仅为 3.1 至 4.3 GB。结合 4GB 显存的低门槛，该模型为边缘设备上的实时语音交互和机器人控制提供了可行的本地化部署方案。
在训练方法上，NVIDIA 完全跳过了监督微调（SFT），仅使用 NeMo-RL 和 NeMo-Gym 进行强化学习（RLVR 和 RLHF）。此举旨在解决传统 SFT 提升工具调用能力但损害对话质量、导致回复冗长的问题，从而在保持多轮工具调用能力的同时，优化语音代理所需的简短对话表现。模型的核心特性包括多轮与异步工具调用指南、用于语音就绪回复的 conversational_mode 标志，以及可配置的推理和运行时思考预算以控制延迟。
在 NVIDIA 测量的 21 个基准测试中，Nemotron 3.5 Bolt E4B 4GB 在推理模式下有 15 项得分领先于 Gemma 4 E4B、Qwen3.5-4B 和 Nemotron 3 Nano 4B。为进一步提升推理速度，NVIDIA 发布了用于推测解码的 DFlash drafter，在 RTX 5070 上可达到 272.6 tokens/s 的生成速度。