official的用法
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
一不留神,大模型已经学会了操纵手机?
最近,腾讯最新多模态智能体框架AppAgent曝光,可以像人类一样操作各种应用。
比如在地图软件中输入目标地址,然后唤起导航。
或者想要发一封邮件,AppAgent也能轻松编写,然后直接在客户端中发送。
就算是“反人类”的验证码,也丝毫难不住AppAgent。
甚至是用Lightroom这样人类都不一定会的专业软件P图,也能三下五除二地完成。
而且它还可以观察人类操作,甚至是自主探索,不用教就能学会新的APP。
目前,该项目在GitHub上已经取得了1.5k星标。
操纵水平超越GPT4
为了更具体地评估AppAgent的表现,研究团队一共在10个不同的应用程序上测试了50个任务,其中还包括没有学习过的新APP或操作,结果它都能出色完成。
除了P图的效果由人工评判,AppAgent在其它九个APP上的表现,分别用成功率(SR)、奖励分数和平均步数来衡量。
在自动探索模式下时,AppAgent完成这些任务的成功率达到了73.3%,学习过DEMO之后可以提升到84.4%。
虽然离人类手工指导的95.6%还存在差距,但这样的表现已经远远超过了GPT-4。
而在使用Lightroom进行P图操作时,真人会对“参赛选手”的表现进行评价,评价的方式是对它们的作品效果进行排名而不是打分。
结果AppAgent自行学习DEMO后,表现的平均排名为1.95/3,略低于手工指导的1.75,但比GPT4的2.3还是高出不少。
那么,AppAgent优异表现的背后,采用了什么样的方法呢?
通过界面变化学习操作
研究人员给AppAgent设定了点击、长按、滑动、输入、返回和退出这六种预置操作。
后续的学习过程和操作方案,都是由这六种操作按一定顺序排列组合而成的。
模型方面,AppAgent的基础模型是多模态版的GPT4;工作流程则分为了探索和操作两个阶段。
探索阶段中,研究人员会把应用说明和标有界面中元素位置的XML文件,连同界面截图一起输入给模型。
然后模型通过分析不同截图之间的界面变化,学习APP的功能和操作逻辑。
以发送邮件为例,人类的操作过程被转换成六种预置操作的组合,然后被AppAgent学习。
到了操作阶段,AppAgent会调用学习后的知识库,对应用界面进行分析,了解界面中的功能并根据任务需要设计操作策略。
目前,AppAgent已有DEMO可供体验,暂只支持安卓手机,具体详情和使用方法可以到项目页中查看。
论文地址:https://www.arxiv.org/abs/2312.13771项目主页:https://appagent-official.github.io/GitHub页:https://github.com/mnotgod96/AppAgent
— 完 —
量子位 QbitAI · 头条号签约
","gnid":"9e5f7cb48511ac354","img_data":[{"flag":2,"img":[{"desc":"","height":508,"s_url":"https://p0.ssl.img.360kuai.com/t010117cbac55b0bf1d_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0145dd90be95505c17.gif","width":908},{"desc":"","height":508,"s_url":"https://p0.ssl.img.360kuai.com/t0168c1ebc6b0be3dd8_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t015675abfc21dc79f4.gif","width":908},{"desc":"","height":762,"s_url":"https://p0.ssl.img.360kuai.com/t017e657748e0014b29_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01f0b1d5a1a186dbe3.gif","width":772},{"desc":"","height":508,"s_url":"https://p0.ssl.img.360kuai.com/t0145fa14d0a9eeb92b_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01218cc987c574dc75.gif","width":906},{"desc":"","height":"590","title":"","url":"https://p0.ssl.img.360kuai.com/t019146579233ff5e4d.jpg","width":"968"},{"desc":"","height":"289","title":"","url":"https://p0.ssl.img.360kuai.com/t01a676d3a48462677f.jpg","width":"1080"},{"desc":"","height":"278","title":"","url":"https://p0.ssl.img.360kuai.com/t0159561ad1d7be3250.jpg","width":"1080"},{"desc":"","height":"225","title":"","url":"https://p0.ssl.img.360kuai.com/t01151f975012ec537b.jpg","width":"1080"},{"desc":"","height":"553","title":"","url":"https://p0.ssl.img.360kuai.com/t0154f613251ec76514.jpg","width":"1080"},{"desc":"","height":"526","s_url":"https://p0.ssl.img.360kuai.com/t0127eeb28e128d96ba_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0127eeb28e128d96ba.gif","width":"792"},{"desc":"","height":"750","s_url":"https://p0.ssl.img.360kuai.com/t01fd09a7e64714375c_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01fd09a7e64714375c.gif","width":"762"},{"desc":"","height":"720","s_url":"https://p0.ssl.img.360kuai.com/t01c9357e89f8df0c44_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01c9357e89f8df0c44.gif","width":"726"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1703592540000,"pure":"","rawurl":"http://zm.news.so.com/8ea3674f677d0bcced0796d9ced65e2d","redirect":0,"rptid":"9c67b116e069c61f","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:github","k":"github","u":""},{"clk":"ktechnology_1:app","k":"app","u":""}],"title":"鹅厂新智能体亮相!操纵手机水平媲美真人,GitHub一周获1.5K星
谭维疤4763official是什么意思 -
孔喻园17545908899 ______ official 英 [ə'fɪʃ(ə)l] 美 [o'fɪʃəl] n. 官员;公务员 adj. 官方的;正式的;公务的 希望帮到您 望采纳 谢谢!!
谭维疤4763officer与official的区别
孔喻园17545908899 ______ officer 更多地指长官,行政长官,军官等那些等级较高的官员. official更多是指普通官员,公务员等.
谭维疤4763normal,formal,official,regular,common的区别.在线等 -
孔喻园17545908899 ______ normal正常的 formal正式的 official官方的 regular有规律的,常规的 common普通的 晕~都是形容词用法没什么区别啊~ 又不是动词得辨析了~ 什么地方该用什么词是根据上下文的吗~
谭维疤4763Officer 和 Official的区别? -
孔喻园17545908899 ______[答案] 第一个是名词~官员(多是政府官员)official是形容词~官方的~
谭维疤4763区别officerofficial
孔喻园17545908899 ______ 这两个名词均含“官员”之意. officer: 主要指军官或警官,有时也指文职官员或高级职员. official: 通常指文职官员,公职人员,有时也指军官或警官.
谭维疤4763冠冕是什么意思 详解冠冕的含义和用法? -
孔喻园17545908899 ______ 冠冕一词的用法比较广泛,可以用来表示不同的含义.在古代社会中,冠冕通常用来表示皇帝或国王的权力和地位.而在现代社会中,冠冕则更多地被用来表示荣誉和奖励.以下是一些常见的用法:1. 获得冠军,成为最强的选手,是一种冠冕的...
谭维疤4763抖森和荷兰弟海总微博后面的official什么意思 -
孔喻园17545908899 ______ official : [形容词] 正式的; 官方的; 官方授权的.意思是指此抖森和荷兰弟海总微博是[抖森和荷兰弟海总]的正式微博.
谭维疤4763official意思 -
孔喻园17545908899 ______[答案] official [ə'fiʃəl,əu-] 基本翻译 n.官员;公务员 adj.官方的;正式的;公务的
谭维疤4763急!!putoff和putback都有“推迟”的意思,它们的用法?
孔喻园17545908899 ______ 在拖延时间上用法相同.put off 延期They decided to put the meeting off until after Christmas.他们决定把会议推迟到圣诞节以后. Owing to the state of the ground, the ...
谭维疤4763请问英文“OFFICIAL”的中文翻译
孔喻园17545908899 ______ 形容词为官方的,公正的!名词为官员