基于规则的强化学习（RL/RFT）已成为替代 SFT 的高效方案，仅需少量样本即可提升模型在特定任务中的表现。
该方法通过预定义奖励函数规避人工标注成本，如 DeepSeek-R1 在数学求解中的成功应用，以及多模态领域在图像定位等任务上的性能突破（通常使用 IOU 作为规则 reward）。
vivo 与香港中文大学的研究团队受到 DeepSeek-R1 的启发，首次将基于规则的强化学习（RL）应用到了 GUI 智能体领域。
论文标题：UI-R1: Enhancing Action Prediction of GUI Agents by Reinforcement Learning论文地址：https://arxiv.org/abs/2503.21620项目主页：https://yxchai.com/UI-R1/项目代码：https://github.com/lll6gg/UI-R1
简介
本研究创新性地将规则 RL 范式拓展至基于低级指令的 GUI 动作预测任务。具体实现中，多模态大语言模型为每个输入生成包含推理标记和最终答案的多条响应轨迹，在训练和测试时的 prompt 设计如下：
随后通过我们设计的奖励函数评估每条响应，并采用 GRPO 等策略优化算法更新模型参数。该奖励函数包含三个维度：
动作类型奖励：根据预测动作与真实动作的匹配度计算；动作参数奖励（聚焦点击操作）：通过预测坐标是否落入真实边界框评估；格式规范奖励：评估模型是否同时提供推理过程和最终答案。
数据制备方面，仅依据难度、多样性和质量三原则筛选 130 余个移动端训练样本，展现出卓越的数据效率。实验表明，UI-R1 在桌面端和网页平台等跨领域（OOD）数据上均取得显著性能提升，印证了规则 RL 处理跨领域复杂 GUI 任务的潜力。
方法：强化学习驱动的 GUI 智能体
我们提出的 UI-R1 模型采用了三个关键创新：
1. 独特的奖励函数设计
研究团队设计了专门针对 GUI 任务的奖励函数：R = R_T + R_C + R_F
R_T：行为类型奖励（点击、滑动、返回等）
R_C：坐标准确度奖励（点击位置是否准确）
R_F：格式奖励（输出的格式是否正确）
2. 精心筛选的高质量数据
与其使用大量普通数据，我们提出采用了「质量优先」的策略，从三个维度精选训练数据：
质量：选择标注准确、对齐良好的样本
难度：专注于基础模型难以解决的「困难」样本
多样性：确保涵盖各种行为类型和元素类型
最终只使用了136 个高质量样本，比传统方法少了几百甚至上千倍，就能够训练得到比 SFT 方式更优的效果。
3. 群体相对策略优化算法
UI-R1 采用了一种名为 GRPO（Group Relative Policy Optimization）的算法。这种算法不需要额外的评论家模型，而是通过比较同一问题的多个不同回答来学习什么是「好」的回答。
实验结果
1. 域内效果提升明显
在 AndroidControl 基准测试上，UI-R1-3B 与基础模型 Qwen2.5-VL-3B 相比：
行为类型准确率提高了 15%定位准确率提高了 10.3%
2. 域外泛化能力惊人
UI-R1 在从未见过的桌面 PC 端和网页界面上表现同样出色：
在 ScreenSpot 测试中，UI-R1-3B 的平均准确率达到78.6%，超越 CogAgent-18B 等大模型。在专业高分辨率环境 ScreenSpot-Pro 测试中，UI-R1-3B 达到17.8%的平均准确率，提升了与使用 76K 数据训练的 OS-Atlas-7B（18.9%）性能相当。
分析
我们关于 UI-R1 做了一系列分析，研究发现：在 GRPO 的强化学习微调的方式下，数据质量比数据数量重要
困难样本更有价值：按难度选择的方法比随机选择的性能显著更好。数据增长收益递减：随着训练数据量增加，性能提升趋于平缓。精选小数据集比大数据集更有效：三阶段数据选择方法优于使用整个数据集或者随机筛选相同数量的子集。
此外，我们还发现动作预测的难度与思考的长度之间存在关联：思考长度越长，准确率越低（说明问题越难），但通过 UI-R1 形式的强化学习微调之后，对于难样本的成功率提升也更加明显。
这一现象证明了强化微调的价值，通过让模型自主思考来提升难样本的准确率，这个特性是之前的监督微调所难以获得的。
未来探索方向
UI-R1 初步探索了大模型强化学习和推理技术在 GUI Agent 领域的应用。下一步，我们将尝试将 UI-R1 从 RFT 拓展到 SFT + RFT 的组合，实现大规模 UI 数据下统一的思考、决策、规划的 GUI Agent 大模型
《无尽❌白丝❌动漫》，《y85ouztigy6ysf5y》太宰脱中也内裤把中也淦哭
“日本学生扒裙子打光屁股网站”
giantess18XXXXHDvibeo
……
04月15日
“女人正面裸体洗澡视频”2024LPL春决 BLG vs TES
↓↓↓
04月15日，李光灿高原、三峡作品艺术展在拉萨开幕，国外无遮羞调教打屁股，漫画❌吸乳18禁羞羞漫画，暴爱フレンドシップ♥，少萝自愿裸体❌❌㐅二次元
04月15日，一季度山西省对RCEP其他成员国进出口同比增18.7%，白丝洗澡裸体被❌羞羞，抽插嗯啊原来你们都想上我，❤️国产精品海角社区，美女白丝㊙️裸体写真
04月15日，《阿盖尔：神秘特工》中国首映 上演特工环球冒险故事，原神丽莎被扒开胸罩喂我吃饭，不知火舞被❌吸乳羞羞，女初高中打屁股♥网站极端，中国男帅chinese男男Gay相关网站
04月15日|中新健康丨开工成“特累”族 专家支招巧解“节后综合征”|红桃视频18|uiui.成人官网|K佬的能天使虫子繁育场|沙特GAy猛男GUCK
04月15日|1-9月中国国有企业营业总收入同比增长1.2%|国产XXXX朝鲜101|憋尿挠脚心挠到了尿出来了|日本老师❌开腿让我爽一夜|美女扒开内👙给男人揉
04月15日|中国少数民族体育协会骑射运动中心成立|有栖花绯 主演 在线观看 《催眠微课堂》|老热妇性色506070老热妇|🍌伸进🍑视频|黄网站观看……
04月15日，冬游西藏新风尚：藏装拍照、寄明信片成热门，女性向男帅纯爱❌片，❌❌❌❌学生XXXX18，小樱沦为性玩物暴露调教，洗澡无套自慰❌❌❌麻豆
04月15日，横琴印发文旅产业发展扶持办法申报指南，桃子冰丰满熟女自导自演在线，3D Animal Hentai Cartoon，FerrPorno💋👙5k，免费看韩国美女㊙️隐私
04月15日|引桥合龙 黄茅海大桥与高栏港大桥海上“牵手”|护士美女脱白内裤光屁股图片|草莓视频丝瓜在线观看丝瓜18|蘑菇🍄视频成人精品网战地址|白丝紧致爆乳自慰喷水AV蜜桃
04月15日，西太平洋海军论坛第19届年会在青岛开幕，崩坏3空之律者圣痕，交videos老少配黑人，樱空桃㊙️无码一区，欧美男男Gay做爰XXXⅩ视频
04月15日，贵州旅游投资控股(集团)有限责任公司原党委委员吴静受贿案一审开庭，碧蓝被绑在床扒衣，张柏芝给陈冠希吹哨视频大全，年下哭着含奶顶h，千仞雪18AV黄漫网站
04月15日，（高质量发展调研行）解码新松如何助推辽宁制造业加快转型升级，咒术回战冥冥的胸罩是什么颜色，大胸女被c黄秘火影视频，男同🔞被🌿出水游戏，成人免费看片❌❌动漫
04月15日|香港“盂兰文化节”开幕 体验潮式节日传统文化|黑卡蒂被折磨出牛奶|西施cos 乳液|珐露珊❌自慰|日本妞㊙️裸体坐脸上放屁
04月15日|飞行摄影师诺敏·何：做驰骋天际的“光影诗人”|动漫喜多川被狂❌到高潮|妈妈的启蒙教育桥本香菜|不知火舞魅语乳液狂飙|美女脱了内裤让蛇钻进去视频
04月15日|强降雨致海南三亚现内涝|宁荣荣赤裸❌❌无遮挡|摸进小舞的小内裤里疯狂桶|纲手被爆自慰流水网站|蜜桃AV绝色少妇免费视频
芒果台就“某制片人性骚扰”发声明，樱桃小丸子声优去世|护腰不难，先告别“沙发瘫”｜科普时间 |虎仗悠仁脱裤子自慰|白丝少萝疯狂❌喷水自慰网站|妈妈扒下内裤让我爽了一夜电影|体育生自慰Gay网站
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
