核心要点👉
- 🚀 开源四款小尺寸AI模型(0.5B-7B),降低硬件门槛
- 💡 快思考与慢思考双模式推理,支持复杂问题处理
- 🧠 原生长上下文窗口256k,可处理40万汉字
- 🔧 部署简便,兼容主流框架,支持多种量化
- 🌐 推动AI民主化,获多家芯片平台支持
数智朋克获悉,腾讯混元宣布开源四款小尺寸人工智能模型,参数涵盖0.5B、1.8B、4B和7B,专为消费级显卡设计运行,显著降低硬件门槛。这些模型适用于笔记本电脑、手机、智能座舱及智能家居等低功耗场景,支持垂直领域低成本微调,赋予开发者灵活适配能力。
作为融合推理架构,模型提供快思考与慢思考双模式:前者输出简洁高效,后者处理复杂问题具备全面推理步骤。技术亮点聚焦于agent能力,通过强化学习优化任务规划、工具调用及决策反思,胜任深度搜索、Excel操作等场景;同时,原生长上下文窗口达256k,一次性处理40万汉字内容,记忆细节并推导后续发展。
部署过程仅需单张显卡,部分PC、手机和平板设备可直接接入,兼容主流推理框架如SGLang、vLLM和TensorRT-LLM,支持多种量化格式提升开放性。实际应用中,模型已在腾讯内部业务验证:腾讯会议AI小助手和微信读书AI问书利用超长上下文解析完整会议或书籍;腾讯手机管家实现毫秒级垃圾短信拦截,隐私零上传;智能座舱助手采用双模型协作优化车载环境。
垂直领域表现突出,金融AI助手通过Prompt优化达成95%以上意图识别准确率;游戏翻译与QQ飞车手游NPC展现多语言理解与方言处理潜力。Arm、高通、Intel和联发科技等芯片平台已宣布支持部署,加速终端设备集成。开源策略推动AI技术民主化,促进社区创新与行业应用迭代。