AutoDroid: LLM-powered Task Automation in Android
https://github.com/MobileLLM/AutoDroid
Relevance
- 当前商业 AI 助手采用开发者驱动的方法,使用 NLU 模块和开发者定义的函数,但在支持新任务时面临可扩展性挑战。
- LLM 现在可以使用搜索引擎、代码解释器和 API 等工具。
Purpose
- 一个能够通过与智能手机交互来完成用户指定任务的自主代理
Key Problem
- GUI 表示:将 GUI 状态和动作转换为文本格式,帮助 LLM 理解并做出决策。
- 知识集成:LLM 需要领域特定知识来导航并完成复杂智能手机应用中的任务。
- 成本优化:优化 LLM 查询效率,提供响应式的任务自动化体验。
Method
Task-oriented UI Prompting
- GUI 解析模块:将 GUI 转换为简化的 HTML 表示,自动滚动并记录信息