AutoGLM

定义

AutoGLM是智谱研发的手机操作智能体模型，业界通常称其为具备Phone Use（手机操作）能力的AI Agent。它通过读取手机屏幕画面来理解当前界面，再以模拟真人点击、滑动、输入等方式执行操作，从而把一句自然语言指令转化为一串连续动作^[4]。

与仅提供建议和答案的对话式助手不同，AutoGLM的定位是直接代用户完成操作，能够稳定跑完外卖点单、机票预订等长达数十步的流程^[5]。开源后，硬件厂商、手机厂商和开发者均可基于该项目在自己的设备或系统中复现一个能看懂屏幕的AI助手^[2]。

原理

AutoGLM属GUI-Agent路线，其判断依据是屏幕上的视觉信息，不依赖应用源码，也不需要开发者为它单独适配无障碍标签或接口。传统自动化方案往往要读取无障碍标签或调用开发者接口，而大量应用并不维护这类标签，导致智能体难以判断界面上哪些元素可以交互；直接对屏幕画面做判断则绕开了这一限制^[6]。

技术栈上，框架以ADB（Android Debug Bridge，安卓调试桥）控制设备，以视觉语言模型完成屏幕感知，再结合任务规划把自然语言需求拆解为可执行步骤。遇到网络波动、弹窗打断、广告遮挡等情况，模型需要具备自我纠错与流程恢复能力，才能在几十步的任务链中保持稳定^[7][8]。

AutoGLM 2.0由智谱开源的GLM-4.5语言模型与GLM-4.5V视觉推理模型驱动，并结合端到端异步强化学习。团队提出MobileRL、ComputerRL和AgentRL等算法，让模型在上千个虚拟设备环境中同时强化学习，以扩展准确性和泛化能力^[3][1]。

安全机制上，AutoGLM不收集用户名或密码，登录与验证码环节发起人工接管请求，支付、内容发布等关键动作需用户确认，高风险步骤默认不自动执行^[2][1]。

发展历程

智谱于2023年4月启动相关研究，早期的大模型系统只能执行点击、滑动等简单动作，常迷失在无意义的操作中甚至陷入死循环。团队随后建立Phone Use能力框架，把点击、滑动、输入、截图、界面理解等基础动作抽象出来，并让模型学会把自然语言拆解为稳定、可回放的步骤^[4]。

2024年10月，智谱在中国计算机大会（CNCC）上首次公开AutoGLM，成为业界首个具备手机操作能力的AI Agent^[2]。同年10月25日发布的版本已能在真机上稳定完成一条完整操作链路；11月，AutoGLM完成了由AI发出的手机红包，其过程依靠识别屏幕界面逐步点击，而非脚本录制或调用内嵌接口^[4]。

2025年3月31日，智谱在2025年中关村论坛年会上发布具备深度研究能力的智能体AutoGLM沉思，该版本能自主打开并浏览网页、搜集分析数据并生成报告^[9]。2025年8月20日，智谱发布AutoGLM 2.0并首次面向公众全面开放，无需邀请码即可使用^[3]。

2025年12月9日，智谱宣布开源核心AI Agent模型AutoGLM，开源内容包括训练好的核心模型、Phone Use能力框架与工具链、可直接跑通的Demo、针对Android的适配层与示例工程以及文档和上手指南。模型以MIT许可证开放，代码以Apache-2.0许可证托管于代码托管平台^[10][11]。

应用

开源版本支持微信、微博、淘宝、京东、美团、抖音、小红书等超过50款主流中文应用，可完成启动应用、输入文本、长按、双击等操作^[1]。在生活场景中，其演示涵盖外卖点单、机票预订、房源查询与健康服务预约；在办公场景中，可从信息检索延伸到内容撰写，并生成短视频、PPT或播客^[3]。

AutoGLM 2.0采用云手机与云电脑架构，任务在云端设备上执行，不占用用户本机屏幕和算力，用户在此期间可以继续使用其他应用，因而能够以异步方式并行处理任务^[12]。智谱还将执行能力封装为应用程序接口，并启动开发者生态计划，使该能力可扩展至智能眼镜、手表、家电等硬件，其展示案例包括通过智能眼镜完成点咖啡^[3]。

部署方式上，开源项目支持本地部署、云端部署与混合部署三种模式：本地部署下屏幕捕获、模型分析与操作执行均在本机完成；云端部署需将屏幕内容传至云端模型分析后返回指令；混合部署则在本地捕获屏幕、由云端模型分析、结果回本地执行。

局限

AutoGLM并非系统级手机助手，无法实现类似后台虚拟屏那样的运行方式，本地模型在速度与能力上也存在一定限制。在测试阶段，实际操作出现过任务跳出后中止、个别应用连续多次执行任务时账号有概率被退出等情况，不同网站与应用在适配程度和成功率上并不一致，复杂长链路偶有失步^[12]。

权限与风控是这类方案的长期约束。事件注入、屏幕读取、模拟输入均属系统高敏感权限，即便手机厂商放开，也难以绕开应用自身的风控体系；当智能体的行为特征与脚本高度重合时，被风控误判几乎难以避免^[6]。

隐私方面，将应用操作托管给AI需要用户授权屏幕读取权限，由此引发对个人信息泄露和智能体被灰黑产利用的担忧；有手机行业从业者指出，国内在用户隐私和数据权限边界方面尚存在标准空白^[1][13]。此外，当前手机端算力难以支撑较大参数规模的智能体模型，这也是智谱选择不完全将模型部署在手机端、而在云端运行的原因之一^[1]。

参见

• 智谱 —— 研发并开源AutoGLM的人工智能公司。

• GLM-4.5 —— AutoGLM 2.0所依托的开源语言模型。

• 视觉语言模型 —— AutoGLM理解手机屏幕内容所依赖的模型类型。

• 强化学习 —— AutoGLM提升准确性与泛化能力的训练方法。

• Android Debug Bridge —— AutoGLM控制安卓设备的底层调试工具。

• 智能体 —— AutoGLM所属的技术类别。