DIGIPUNK
去投稿
发表于:2024年11月10日

MetaGPT开源AFLOW,自动优化Agentic Workflow引领LLM高效落地

数智朋克
发布者:数智朋克
阅读:1 分钟
我要投稿
要点速达👈
  • 🔍 MetaGPT开源AFLOW,简化LLM工作流构建与优化
  • 🎯 AFLOW通过MCTS实现Agentic Workflow自动化生成
  • 📈 实验中平均提升任务性能5.7%-19.5%
  • 💡 AFLOW支持广泛迁移性,适配多种LLM任务场景
  • 💰 成本仅为GPT-4推理的4.55%,显著节省AI部署费用

数智朋克消息,MetaGPT开源社区近日推出了新工具AFLOW,旨在解决大语言模型(LLM)在实际落地中构建和优化Agentic Workflow所需的高昂人力成本。传统上,LLM工作流构建需大量手动操作,包括代码调试、提示词修改和反复测试。AFLOW通过采用蒙特卡洛树搜索(MCTS)技术,全面接管了这一流程的自动化生成与优化,让企业能够大幅提升AI部署效率。

AFLOW的推出依托MetaGPT社区的研发支持,项目由香港科技大学(广州)博士生张佳钇、DeepWisdom研究员向劲宇等共同完成。AFLOW以一系列代码化节点与边缘表示的结构,定义了LLM工作流的各个操作,使之在MCTS算法下成为可搜索的图结构。在此框架中,每个节点通过代码连接,涵盖了模型调用、提示参数、输出格式等要素,自动优化LLM任务性能,并逐步取代人工构建。

在AFLOW中,“操作符”(Operator)简化了智能体工作流的构建难度。通过操作符这一组合模块,AFLOW能够针对常见任务场景预设并复用智能体操作,大大提升了搜索效率。选择、扩展、评估和反向传播是MCTS实现优化的四个阶段,AFLOW不断迭代这些步骤,自动生成适合任务的最优工作流结构。在选择阶段,通过概率机制寻找高潜力节点;在扩展和评估阶段,优化器基于节点经验微调提示词或节点关系,从而测试并评估工作流效果;最后,通过反向传播将评估结果反馈到树结构中,为未来迭代提供参考。

在文本推理任务测试中,AFLOW展现了显著的优化效果。在代码生成(HumanEval、MBPP)、数学求解(GSM8K、MATH)、知识问答(HotpotQA、DROP)等任务中,AFLOW在不同基准测试集上表现出全面领先的稳定性,对比手动和现有自动优化方法平均提升5.7%至19.5%。此外,AFLOW使开发者能够在小模型上实现大模型效果,运行成本仅为GPT-4推理成本的4.55%,该突破性优化为企业AI部署带来经济效益。

AFLOW的广泛适用性不仅限于某个LLM模型,实验结果显示其可迁移至不同任务场景中,在问答、数学和代码生成等任务中表现优异。用户可轻松配置数据集和评估函数,在GitHub开源平台上获取代码及分步指南,快速生成和优化适合自身任务的工作流。AFLOW为企业带来高效、自动化的解决方案,帮助开发者轻松优化任务工作流,显著加快Agentic Workflow的自动化落地进程。

本文链接: https://www.shuzhipunk.com/articles/D5oSFDp3pJk
转载请注明文章出处

文章所属标签
MetaGPT
Agentic Workflow
LLM落地