华东师大&东华大学 投稿量子位 | 公众号 QbitAI
火，Agent可太火了！关于Agent的进展俯拾皆是，根本看不过来……
看过来——这篇综述可能能帮你厘清很多问题：
来自华东师大和东华大学的研究团队发表了“A Survey on the Optimization of Large Language Model-based Agents（大模型智能体的优化方法综述）”，首次从系统化视角对LLM智能体优化策略进行了全面梳理与分析。
论文将将现有方法划分为两大类：参数驱动的优化与参数无关的优化。
前者包括基于监督微调、强化学习（如PPO、DPO）以及微调与RL结合的混合策略，重点讨论了轨迹数据构建、奖励函数设计、优化算法等关键模块。
后者则涉及通过Prompt工程、外部工具调用、知识检索等方式在不修改模型参数的前提下优化Agent行为。
除此之外，作者们还整理了主流的Agent微调与评估数据集，回顾了LLM Agent在医疗、科学、金融、编程等多个应用领域的代表性实践。
最后，研究团队总结了Agent当前面临的关键挑战与未来研究方向。
为什么我们需要专门优化LLM智能体？
近年来，随着GPT-4、PaLM和DeepSeek等大型语言模型不仅在语言理解和生成上表现出色，更在推理、规划和复杂决策等方面展现出非凡的能力。
因此，越来越多的研究者开始尝试将LLM作为智能体来使用，探索其在自动决策和通用人工智能方向的潜力。
与传统的强化学习智能体不同，LLM智能体不依赖显式的奖励函数，而是通过自然语言指令、Prompt模板与上下文学习（ICL）完成复杂任务。
这种“文本驱动”的智能体范式展现出极高的灵活性与泛化能力，能够跨任务理解人类意图、执行多步骤操作，并在动态环境中做出决策。
当前，研究者已尝试通过任务分解、自我反思、记忆增强以及多智能体协作等方式提升其表现，应用场景涵盖软件开发、数学推理、具身智能、网页导航等多个领域。
值得注意的是，LLM本身的训练目标是预测下一个token，并非为长期规划和交互学习的Agent任务而生。
这也导致了LLM作为Agent的部分挑战：
长程规划与多步推理能力不足，容易在复杂任务中出现累积错误；缺乏持续性记忆机制，难以基于历史经验进行反思与优化；对新环境的适应能力有限，难以动态应对变化场景。
尤其是开源LLM在agent任务中的表现普遍落后于GPT-4等闭源模型，而闭源模型的高成本与不透明性，也使得优化开源LLM以提升Agent能力成为当前研究的关键需求。
当前已有的综述要么聚焦于大模型优化本身，要么只讨论agent的局部能力（如规划、记忆或角色扮演），并未将“LLM智能体优化”作为一个独立且系统的研究方向进行深入探讨。
研究团队填补了这一空白，首次以“LLM-based Agent的优化技术”为核心议题展开系统综述，构建统一框架，归纳方法路径，并对比不同技术的优劣与适用情境。
参数驱动的LLM智能体优化
在参数驱动的LLM优化中，作者将其分为3个方向。
基于常规微调的优化
第一个方向，基于常规微调的优化。
又分为2大步骤：构建Agent任务的高质量轨迹数据——用轨迹微调Agent。
首先是数据获取与生成。
高质量的轨迹数据构建开始于初始数据的获取和生成，这不仅需要一组多样化的轨迹，还需要与目标任务充分对齐，以确保有效的学习。
作者将主流方法归纳为以下四类：
专家标注数据：由人类专家手工设计，质量高、对齐强，是微调的黄金标准。但人力成本高、难以扩展，常作为优质补充数据使用。强LLM自动生成数据：利用GPT-4等大模型结合ReAct、CoT策略生成轨迹，效率高、适合大规模构建。但数据依赖大模型，存在成本高、偏差传播等问题。Agent自主探索数据：通过开源模型自主与环境交互生成轨迹，成本低、可摆脱闭源依赖。缺点是探索能力有限，需配合后续筛选机制去除低质数据。多智能体协作生成数据：通过多个Agent协同完成复杂任务流程，提升数据多样性与交互复杂度。但系统设计更复杂，稳定性和资源成本也是挑战。
其次，数据的评估与过滤。
由于生成的轨迹数据质量参差不齐，对数据进行评估和筛选成为不可或缺的一步。
作者将主流方法归纳为三类：
基于环境的评估：这类方法依靠任务是否成功、环境奖励等外部反馈来判断轨迹质量，易于实现，自动化程度高。但缺点是反馈信号过于粗粒度，只关注最终结果，无法发现推理链条中的隐性错误。基于人工或规则的评估：通过预设规则（如任务完成度、答案一致性、多样性等）或专家人工审核，对数据进行更精细的质量控制。适配性强、准确性高，但也需要大量人工参与与复杂设计。基于模型的评估：借助强大的LLM（如GPT-4）对轨迹进行自动打分与分析，能从相关性、准确性、完整性等维度进行多层评估，构建自动化质量评估框架。缺点在于，评估本身依赖模型，可能引入新的偏差。
接着是低质量样本的利用。
除了高质量的获取，对不合格的低质量轨迹也需要再次利用。
目前的主流策略包括：
对比式利用：通过对比正确与错误样本，让模型更清晰地识别哪些行为是有效的。错误修正型方法：识别并修正失败轨迹，将其转化为可学习的数据，提升训练质量。直接利用错误样本：不做修正，直接用失败案例训练模型，提升其面对错误情境时的容错性。
完成高质量轨迹数据构建后，下一步就是关键的微调阶段。
通过微调，让开源大模型真正适应Agent任务，学会规划、推理与交互，是优化LLM智能体不可或缺的一步。
值得注意的是，仅用Agent任务轨迹微调可能会削弱LLM的通用能力。
因此，大多工作选择混合通用指令数据与Agent轨迹共同训练，以在保留语言基础能力的同时，提升Agent执行能力。
作者将现有的微调方法划分为三大类：
标准SFT：最常见的方法，通过高质量指令-输出对或轨迹数据，对模型进行全参数优化，最能对齐目标任务。此外，模仿学习中的行为克隆本质上也属于这一类，强调从专家轨迹中学习决策策略。参数高效微调（如LoRA/QLoRA）：只更新少量参数，其余权重保持不动，显著降低显存与算力开销，在大模型Agent微调中尤为常见。相比全量微调，虽然训练开销更小，但性能往往可媲美甚至超过自定义微调策略：为特定任务设计的微调方法，例如将通用指令与轨迹数据混合训练，或引入额外约束项（如正则化）提升泛化与稳定性。这类方法更具灵活性，适合复杂或稀缺任务场景。
基于强化学习的优化
相比于传统的微调方式，强化学习为Agent带来了更具主动性的学习路径。
它让模型不再只是“模仿”，而是能在环境中探索行为、接受奖励与惩罚，动态调整策略，真正实现从试错中成长。
作者将当前RL优化方式分为：基于奖励函数的优化和基于偏好对齐的优化。
先说基于奖励函数的优化。
在强化学习优化中，奖励函数就像智能体的指挥棒，引导模型不断改进策略。通过设定清晰的“做得好 vs 做错了”标准，Agent可以从交互中学习得更精细、更稳健。
作者将当前方法按照三类奖励来源划分3类：
基于环境的奖励：直接依据任务是否完成来打分，简单直观，自动化程度高。但往往只关注最终结果，忽略了中间步骤的质量。基于模型的奖励：由LLM或辅助模型对轨迹进行评估，适用于环境反馈稀疏的场景，能提供更细致的反馈。但效果取决于评估模型的质量。自定义奖励函数：研究者根据任务需求自设多维度奖励，不仅考核完成度，也关注策略稳定性、协作效率等。灵活强大，但设计成本高、难以泛化。
再来看基于偏好对齐的优化。
相比传统RL基于奖励函数的训练方式，偏好对齐提供了更直接、更轻量的优化路径。
它不再依赖繁琐的奖励建模，而是让Agent学会“哪种行为更受人类欢迎”。
其代表方法是DPO，一种更简单的离线强化学习方式，直接通过人类或专家的偏好对样本进行“正负对比”训练。
根据主要偏好数据来源，作者将其这类优化方法分为两类：
专家/人工偏好数：基于专家示范或人类标注构造正负样本（优质 vs 错误轨迹），质量高但难以大规模扩展，覆盖面有限。任务或环境反馈：从任务表现（成功率、分数等）中自动构建偏好对，适用于动态任务场景，但依赖反馈机制合理的设计。
综合来看，偏好对齐方法训练高效、部署简单，但强依赖偏好数据质量与覆盖范围，适合结构明确、反馈清晰的任务场景。
而奖励函数类方法更适配复杂多变的环境，但成本更高。
混合参数微调方法
单一的优化方法各有短板——常规微调稳定高效但缺乏动态应变能力，RL灵活强大却计算开销巨大。
于是，越来越多研究开始探索混合微调策略，结合两者优点，构建更强大的LLM智能体。
这类工作主要为：
第一，顺序式两阶段训练。
这也是是当前的主流方法，采取“先SFT、后RL”的思路。
阶段一：行为克隆微调（SFT），用专家轨迹或策展数据预训练模型，奠定基础能力；阶段二：强化学习优化（PPO / DPO），针对环境或偏好精调模型策略。
第二，交替优化。
即引入迭代交替机制，在SFT和RL之间多轮来回切换，以实现细粒度提升。
参数无关的LLM智能体优化
相比参数微调，参数无关的优化方法不涉及模型权重更新，而是通过调整Prompt、上下文和外部信息结构，在资源受限或轻量部署场景中展现出强大潜力。
作者将其分为五类核心策略：
第一类，基于经验的优化。
通过记忆模块或历史轨迹，让Agent“学会复盘”，从过去成功与失败中提炼策略，增强长期适应性。
第二类，基于反馈的优化。
Agent通过自我反思或外部评估不断修正行为，形成迭代闭环；还有方法通过元提示优化调整全局指令结构，提升泛化能力。
第三类，基于工具的优化。
让Agent学会使用工具（如搜索、计算器、API）以增强执行力。部分方法优化工具调用策略，部分则训练Agent构建更高效的任务-工具路径。
第四类，基于RAG的优化。
结合检索与生成，通过从数据库/知识库中实时获取信息增强推理过程，尤其适合知识密集型任务和变化快速的场景。
第五类，多Agent协作优化。
多个LLM Agent协同完成任务，通过角色分工、信息共享与反馈机制实现1+1>2的协同智能。
参数无关优化，让LLM Agent在不动模型的前提下，变得更“聪明”、更“适应”、也更“轻巧”。
数据集与基准
作者将数据和基准分为用于评估和微调的两个大类。
评估任务分为两类。
第一类，通用评估任务。
即按一般任务领域分类，如数学推理，问题推理（QA）任务，多模态任务，编程等。
第二类，多任务评估基准。
跨各种任务评估基于LLM的智能体，测试它们概括和适应不同领域的能力。
Agent微调数据集，则是针对Agent微调而精心设计的数据，以提高LLM Agent在不同任务和环境中的能力。
应用
随着优化方法的不断成熟，基于LLM的智能体已在多个真实场景中崭露头角，逐渐从实验室走向实际应用：
挑战与未来方向
数据偏差问题。
Agent高度依赖数据质量，然而预训练数据与微调轨迹分布不匹配，再加上LLM自身生成与评估带来的潜在偏差，易导致性能不稳定。
未来可探索偏差测试、对抗训练、知识边界评估等方法，构建更稳健的数据基础。
算法效率与适应性。
当前强化学习与微调方法在面对稀疏奖励、大动作空间、多步交互时存在成本高、效果差的问题。
如何提升DPO等轻量方法的多轮能力，或探索RL+SFT的混合训练、元学习、自监督方法，将是未来重点。
跨任务跨领域迁移难。
许多方法在单一任务上表现优秀，但在新环境或真实世界中易失效。
需要发展更强的泛化机制，如任务分布对齐、域适应、多任务联合训练等，提升模型迁移与适应能力。
缺乏统一评估标准。
Agent在不同任务（如数学推理、网页导航、具身AI）中使用不同指标，难以横向比较。
建立统一的评估基准，引入推理复杂度、适应性与偏好评分等新维度，将推动Agent研究向更系统、可比的方向发展。
参数驱动的多智能体优化缺失。
目前多智能体策略多依赖冻结LLM，缺乏联合参数训练机制，限制了协同智能的发展。
未来应探索多智能体联合微调、奖励共享机制、层级控制策略，提升整体系统能力与协作水平。
arXiv链接：https://arxiv.org/abs/2503.12434
GitHub链接：https://github.com/YoungDubbyDu/LLM-Agent-Optimization
《添十八🈲️🔞视频免费》，《y85ouztigy6ysf5y》18禁纯肉无码涩涩H影视
“欧美极品❌❌❌❌❌爱豆aⅴ”
91丨九色丨蝌蚪丨丝袜
……
04月06日
“白丝JK❌❌爆乳”保安火场救人吧友求助锦旗文案
↓↓↓
04月06日，广西梧州璀璨夜景迎客来 百年骑楼城人山人海，www.教室被爆❌❌❌羞羞药，羞羞漫画环球网，白丝妺妺洗澡忍不住c了她h，欧美特大BBBBBB泡妞
04月06日，《慈善蓝皮书》发布2023年度中国十大慈善热点事件，女仆被❌吸乳脱内内的网站，缠绵儿媳我叫陈菲小说阅读免费全文，∏OPHO2008，莉莉艾扒开腿做❌同人游戏
04月06日，品味文化盛宴 “五一”文博热持续升温，扒开纳西妲狂揉❌难受视频，白皑草校霸爸爸小说免费阅读，強姦乱暴を強いられる，Naruto❌Sakura18禁八重神子
04月06日|视频画报｜习近平主席抵达巴黎受到热烈欢迎|久久91欧美特黄A片|红桃视频AV在线观看免费|3D 涩 H videos of动漫|自慰啊嗯～出水了明星
04月06日|长沙降雪 企鹅与北极狐外出“撒欢”|免费🔞成人❌❌软件|动漫美女光屁股|91丨PORN丨丝袜高跟|火影之乱婬大筒木辉夜
04月06日|探访太原新发现北魏石窟：孤独隐匿山间近1500年|视频app破解版|印度黄绝片|三上+有菜+小南那部代码多少|女奥特曼18❌本子ACG……
04月06日，哈萨克斯坦紧急情况部发布雪崩风险提示，的🍌伸到🍑屁股，成年18🈲网站免费进入夜色，熊出没纳雅去布料，日本中文字幕av人妻少妇一区二区
04月06日，习语品读｜充实合作“含绿量”，提升发展“含金量” ，九一涩漫，亚洲XXXX天美，韩国女明星裸体㊙️，我的性奴便器精厕贱奴
04月06日|美对乌军援已中止 10亿美元军火去向不明|八重神子被❌爆乳潮喷|星野大战光头哥免费播放|💚奇优影院 ️手机在线观看|美女的隐私㊙️裸身直播
04月06日，江苏镇江：民众排队逛集市“打酱油” 祈福新年好运到，钟离被爆❌漫画羞羞漫画，色情性黄❌片做运动视频吸乳头，中国肉体裸交❌❌❌❌，女fYee牲zozc交体内谢
04月06日，年轻人热衷养异宠 冷门动物渐入大众视野，99国产精品欲AV喷水，国产精品秘入口福利姬蓝莓，少妇妓院1982，www.ypppt.com
04月06日，东西问｜干春松：东西方文明如何更好地“借鉴彼此”？，女人下边被添全过程A片69式，B影院全球最大库存最新消息，噼哩噼哩国语版免费，祼胸爆白色十乳液
04月06日|澳大利亚墨尔本发生枪击事件 致两人死亡|男男Gay软件|打女学生屁股㊙️视频网站|XXNXHDسكس-百度|瑞恩基利Ryankee实战录像
04月06日|北京住房公积金贷款投放超万亿元|卡戴珊被❌一区二区三区|嗯～啊吸我奶头㊙️黄漫|男女又爽❌又黄❌免费怀孕电影|美女扒开㊙️部位
04月06日|中英/北爱教育合作论坛举行 中国驻英大使发表演讲|美女❌18禁漫画网站视频|刻晴裸体被❌被挤乳视频|美女100%无遮挡尿孔图片|触手强制无码免费
千面牛郎，重庆跳江男生胖猫已火化|第七届进博会全球推介路演首站在越南举办|小医仙张开腿高潮狂喷|龙卷3D❌禁漫在线看Porn|芭芭拉在教堂被扒开双腿小说|杨钰莹裸体做爰视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
