MemGUI-Agent

MemGUI-Agent由浙江大学与快手联合联合研发，面向移动端跨应用、多步骤超长链路自动化场景打造的GUI智能体。传统ReAct类智能体执行长序列任务时，会因交互历史文本线性膨胀，造成关键UI信息被稀释、模型易产生幻觉；MemGUI-Agent 创新提出ConAct交互协议，让模型每一步同时完成界面操作决策+结构化记忆管理双任务，实现轻量化、可持久化的上下文管控，大幅提升超长移动端任务的执行稳定性。

一、产品核心功能：

1、超长跨App连续任务执行：

支持多应用、多页面跳转的复杂自动化流程，平均稳定完成30步以上连续移动端操作，适配购物比价、多软件信息采集、表单多页填写等长链路场景。

2、自主可控上下文动态管理：

依托ConAct专属协议，智能体自主判断历史信息压缩时机、UI关键事实写入规则、单步行为结构化描述方式，主动控制上下文长度，避免冗余文本无限堆积。

3、结构化持久记忆操作：

内置标准化记忆指令集：memory_add、memory_update、memory_delete，可长期留存商品价格、联系方式、产品规格、表单参数等核心界面信息，跨步骤不丢失关键数据。

4、端到端轻量化微调方案：

基于Qwen3-VL-8B多模态视觉大模型推出LoRA微调专用模型 MemGUI-8B-SFT，仅8B参数量即可稳定胜任超长移动端GUI任务，部署门槛低。

5、全链路完整开源开放：

项目全套资源无闭源模块：完整工程代码、MemGUI-3K移动端GUI标注数据集、训练流水线、评测基准流程、模型权重全部公开可复用。

二、产品核心优势：

1、大幅削减上下文Token开销：

在150步超长任务场景下，ConAct协议对比传统ReAct架构平均节省约1500输入Token，从根源抑制上下文长度线性膨胀。

2、关键信息长效留存，抑制模型幻觉：

通过独立UI状态记忆库持久存储业务事实，长流程中不会出现关键信息遗忘、内容篡改、虚假推理等幻觉问题。

3、小参数模型具备顶尖长程能力：

仅8B规模微调模型，在移动端长程任务基准测试中，综合效果超越多数32B、235B超大参数量基线模型，推理成本更低、部署更轻量化。

4、优秀分布外场景泛化能力：

MemGUI-8B-SFT 在MobileWorld移动端通用测试集上任务成功率达17.9%，相比传统基线模型提升8.5个百分点，跨APP、未见过全新界面迁移表现突出。

5、全流程实验可复现，降低科研门槛：

数据集构建脚本、模型微调代码、标准化评测协议全部开源，研究人员可快速复现实验、二次迭代优化GUI智能体算法。

三、标准使用流程：

1、拉取开源工程：从GitHub仓库 github.com/kwai/MemGUI-Agent 克隆完整代码、训练与评测流水线；

2、加载标注数据集：在HuggingFace平台下载配套MemGUI-3K移动端GUI专用数据集；

3、导入微调权重：从HuggingFace获取预训练MemGUI-8B-SFT模型权重文件；

4、搭建Android运行环境：连接实体安卓手机或启动安卓模拟器，完成智能体执行环境部署；

5、下发自然语言任务：输入完整长流程自动化目标指令，智能体自动拆解步骤、规划交互并完成全链路移动端操作。