当前位置：首页 > news >正文

开源大模型突破网页代理瓶颈：WebRL-GLM-4-9B成功率达43%超越GPT-4

news 2026/7/10 12:46:29

开源大模型突破网页代理瓶颈：WebRL-GLM-4-9B成功率达43%超越GPT-4

【免费下载链接】webrl-glm-4-9b项目地址: https://ai.gitcode.com/zai-org/webrl-glm-4-9b

导语

智谱AI最新发布的WebRL-GLM-4-9B模型，通过创新强化学习框架将开源大模型的网页自动化能力提升近7倍，在五大主流网站场景中实现43%的平均任务成功率，首次让开源模型在网页代理领域超越闭源巨头。

行业现状：网页代理的技术鸿沟

当前AI网页代理领域存在显著技术分化：闭源模型如GPT-4系列依赖昂贵API调用实现复杂网页操作，而开源模型因决策能力不足，任务成功率普遍低于10%。根据WebArena-Lite基准测试数据，Llama-3.1-8B的平均成功率仅4.8%，即使是优化后的GLM-4-9B-Chat也仅达到6.1%，远不能满足企业级自动化需求。

这种差距源于三大核心挑战：训练任务稀缺导致模型缺乏实战数据、反馈信号稀疏使学习效率低下、在线学习中的策略漂移造成能力不稳定。传统基于模仿学习的方法受限于人工标注数据规模，难以突破性能瓶颈。

技术突破：WebRL框架的三大创新

WebRL-GLM-4-9B的革命性进步源于清华大学与智谱AI联合研发的WebRL强化学习框架，该框架通过三大创新解决了开源模型的能力短板：

自我进化课程机制

系统能从失败尝试中自动生成新任务，形成"探索-失败-学习-进化"的闭环训练。当模型在Reddit帖子管理任务中失败时，框架会自动变异出类似但参数调整的新任务，如"删除包含特定关键词的评论"，使模型在有限初始样本下实现能力爆炸式增长。

结果监督奖励模型(ORM)

不同于传统步骤奖励设计，ORM通过评估最终任务状态提供二进制奖励信号。该模型专门训练识别网页任务完成状态，即使中间步骤存在偏差，只要最终目标达成即给予正向反馈，大幅降低标注成本的同时提高奖励可靠性。

自适应强化学习策略

通过KL散度约束控制策略更新幅度，结合经验回放缓冲区筛选中等难度历史经验，有效防止灾难性遗忘。实验数据显示，采用0.5的KL系数时，模型在GitLab代码仓库操作任务中的成功率提升23%。

性能表现：五大场景全面超越

在WebArena-Lite基准测试中，WebRL-GLM-4-9B展现出碾压级性能：

模型	Reddit	Gitlab	CMS	地图服务	电商平台	平均成功率
Llama-3.1-8B-Instruct	0.0%	3.3%	2.9%	3.3%	11.1%	4.8%
GLM-4-9B-Chat	5.3%	10.0%	6.7%	3.3%	6.7%	6.1%
WebRL-GLM-4-9B	57.9%	50.0%	48.6%	36.7%	37.8%	43.0%

特别值得注意的是，该模型在Reddit内容管理场景中实现57.9%的成功率，GitLab代码仓库操作达到50%，均较基础模型提升9-10倍。这一成绩不仅超越开源方案AutoWebGLM(18.2%)，更显著优于GPT-4-Turbo(17.6%)和GPT-4o(13.9%)等闭源模型。

如上图所示，左侧为WebRL框架的系统架构，展示了与网页环境交互的智能体、任务生成模块、奖励模型和经验回放系统的协同工作流程；右侧折线图清晰显示WebRL框架相比传统方法在各训练阶段的持续性能优势，尤其在Phase 3后出现能力飞跃。这一架构充分体现了自进化课程学习的核心价值，为开发者理解强化学习在网页代理中的应用提供了直观参考。

应用场景与部署指南

WebRL-GLM-4-9B已支持五大主流网站场景的自动化操作：

Reddit：帖子发布、评论管理、关键词过滤
GitLab：代码仓库创建、分支管理、合并请求
CMS系统：内容发布、页面编辑、媒体资源管理
地图服务：地址查询、路线规划、POI标记
电商平台：商品上架、库存管理、订单处理

企业用户可通过以下命令快速部署：

git clone https://gitcode.com/zai-org/webrl-glm-4-9b cd webrl-glm-4-9b pip install -r requirements.txt python demo.py --task reddit_post --api_key your_token

模型支持本地部署和云端API两种使用方式，最低配置要求为16GB显存GPU，在RTX 4090上可实现每秒2-3步的网页操作速度。