python+qwen视觉大模型api实现自动化操作手机和电脑完成任务

最近豆包手机带火了手机ai自动化操作的热浪,越来越多的大厂或小厂都开源了自己的手机ai自动化操作的aiagent源码,放在以前,都捏在手里是宝贝,现在ai视觉定位大模型发展太快了,直接截图+adb指令发送就能自动操作手机完成任务,几行代码的事情,开源项目弄成一大堆代码,今天就给大家两个我亲自测试通过的python+qwen-vl-max大模型api实现ai自动操作手机或电脑完成自动化操作任务的代码,代码我放在最后面。
核心思路就是我刚才说的调用视觉大模型api,通过adb来实时截屏,然后通过adb来模拟用户点击、滑动,输入信息,
安卓手机自动化操作需要电脑安装adb,可以再这个网址下载https://developer.android.com/studio/releases/platform-tools
看看我的效果

还有电脑自动化操作,我 的是win10,自动操作微信发送消息


点击查看完整代码
网友评论0