visionOS 27：眼球追踪，终于开始改变AI产品交互了|安卓|os|siri

visionOS 27：眼球追踪，终于开始改变AI产品交互了

分享至

就在今天，vision OS27 推出了beta2.0新版本，这个版本下Siri不需要说用hey siri,而是直接通过眼球追踪就可以完成Siri的呼唤。

以眼球追踪与LLM结合，应该是全球首次真正以产品的方式落地，在其他产品上尤其是手机与PC上，要想实现这样交互效果，就比较难以落地。

因为在PC或手机上，首先眼球追踪是鸡肋，同时在平面上的操作手势是追快的，而不是眼球追踪。

眼球追踪与AI结合，理解人类意图

Project Aura 发布之后，xreal的创始人徐驰提到，未来的AI一定是通过眼球追踪来完成，这种人际交互才属于人类最自然的方式，而不是随时都用语音呼叫，通过眼球关注人类的聚焦点，从而反馈给出人类信息。

除此之外，眼球追踪还能够让用户满足各类场景交互，比如不能要语音的环境，比如周围有多个人的时候或者需要安静的环境，这个时候就只有通过眼球或者环境来感知人类的需求，从而让AI辅助你。

空间计算的产品经理，归属世界模型

现在的各类模型，本质上都是LLM，而不是世界模型。当然ChatGPT、Claude也在推出自己的世界模型。

我曾经写过2篇文章，分享到世界模型以及基于MR设备的世界模型到底是什么，以及现在的LLM为什么还不能实现产品经理的梦想：替代人

要AI像人类一样理解这个世界，首先要理解空间与物理世界，世界模型就是底座，只有真的像一个数字伴侣，知道人类在哪里，要干什么，以及当前的问题是什么，才能完成所谓的数字伴侣场景。

而对方到底是真实的躯体还是一堆线上数字人，我认为对于人类来说，只要感情需求能够满足，并且能满足看到、互动，到底能不能接触摸到其实也不是刚需。毕竟现在有了互联网，出现了网恋，不少人因为看不见摸不着就投其所有为伴侣支持。就是因为人类本身也是情感需求大于一切的，如果天天在一起，是一个不说话、不懂你的机器人，那么还不如不存在，存在还会阻挡自己的视线与空间。

眼球追踪与摄像头的权限，苹果始终没有放开

因为用户隐私的看重，现在苹果vision OS始终没有放开这方面的权限，导致开发者开发应用其实会比较受限，尤其是要想开发一些KILL 的App，如果vision OS不能和周边世界进行互动，那么用户的体验就会降低几个等级。

而目前其他的系统阵营，不管是眼镜端的还是AndroidXR端的头显，都开放了摄像头权限。

所以我认为这次project aura的发布，很大程度会开发非常多的KILL App，这些用户因为这些App而买这个眼镜的可能性也是有的，最终倒闭苹果开放这些权限，像早期的录音权限、NFC权限，苹果也是逐步开放。

我们团队正在和AndroidXR、vision OS团队共建2大空间操作系统

就在今天，我们团队虽然还在做AndroidXR的App，但已经和官方取得了联系，并且正在和官方一起联动更新优化国产版本的AndroidXR操作系统，期待可以让中国的厂商可以使用我们这款App与OS系统，我们的目标是既可以让用户像小米、OPPO那样，既可以使用手机安卓的App，也可以随时切换手机。