北京
连上数据线，AI就能直接操控你的真实苹果手机。这不是演示视频里的概念，是一个已经拿到3700多颗GitHub赞的开源项目——iPhone Use。
它的思路很直接：绕开传统API的限制，让大语言模型对手机屏幕截图做视觉语言理解，识别出按钮、列表、文本这些可操作元素及其位置，再执行点击、滑动或输入。手机通过USB连到电脑，项目集成进支持的AI框架，就能远程把活干了。
从能力上看，它解决的是"AI看懂屏幕"这一步。传统自动化依赖应用开放接口，接口没有的能力就卡住；iPhone Use改成直接读屏幕，把界面本身当成输入。创建备忘录、查找应用这类任务，都可以交给模型自己判断下一步点哪里。
调试体验上，电脑端会弹出一个实时同步的手机屏幕窗口。AI在哪里点击、滑动、输入，用户都能同步看到。对自动化工具来说，这一步很关键——过程可见，才谈得上信任和排查。
接入门槛也被压得比较低。任何基于PyTorch 0.8+的AI模型都可以集成这个库，意味着几乎所有流行的聊天机器人都能被扩展用于手机自动化。不需要为某个特定模型单独适配，换模型的门槛随之降低。
把这几件事放在一起看，iPhone Use的价值不在单点功能，而在链路：屏幕理解负责"看懂"，实时窗口负责"看见"，框架兼容负责"接得上"。三者串起来，手机自动化从写死脚本变成由模型临场判断。
当然，它目前仍是一个开源库形态的项目，需要USB连接和电脑端配合，并非装个App就能用的成品。但对于想把AI能力延伸到真实设备上的开发者来说，3700多颗星已经说明了一件事：这条路有人在走，而且走得挺快。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
