网易首页 > 网易号 > 正文 申请入驻

懂事的 Agent 已经开始自己看屏幕干活了,效率起飞!

0
分享至


这是苍何的第 558 篇原创!

大家好,我是苍何。

最近 Codex 新出了一个能力,让 Codex 捕捉你的屏幕,然后录制一套工作流,Codex 就可以把它转为 skill,然后,形成你自己的工作流 SOP。

我尝试使用该功能来辅助我对微信聊天记录进行读取,并回复,我发现它并没法把聊天记录同步到上下文中,更无法直接帮我回复。

虽说我已经拿到了微信小微的内测,但目前还仅限于手机端,很多时间其实我是对着电脑的。

找了一些骚操作,感觉都不够丝滑和安全,这两天倒是被安利了个能读取屏幕干活的 Agent。


你可以看到在右侧这个助手它帮我总结了 AI 先行者联盟微信群聊昨天的精华内容,这个 Agent 的逻辑是像人一样盯着你的屏幕,然后自己滑动,总结上下文。

遇到视频或者链接,还能自己打开,看完后并放在上下文里。

它叫 Vida,是一个 Proactive Agent,它能够持续理解用户的上下文、积累长期记忆,并能够预判用户意图,主动协助完成复杂工作,交付可直接使用的成果。


它能感知到我当前所处的应用环境,结合上下文,帮我做文案润色,比如回复消息。

就比如最近 Wesight 推出了宠物语音新功能,我很想在用户群里问问大家使用体验。

在聊天界面快捷键直接唤起 Vida,你可以看到此时 Vida 的上下文里添加了微信应用,当我发送指令润色我的回复的时候,实际它能感知当前群聊上下文信息,并给我优化回复。


有时候,甚至还能充当智能客服的场景,比如刚好有个小伙伴问了一个项目的问题,说实话细节我有点忘了。我尝试把这个问题丢给Vida。


很神奇的是,我没有给它上传过项目文档。

它自己在我电脑里搜索相关资料、 GitHub 本地仓库、历史聊天和项目记录,给了我一个可以直接复制的回复。

这个点还是很强的,Vida 会理解上下文,判断用户意图,并主动协助完成任务。

Wesight 后台也积累了不少 Issue。


说实话,项目规模起来之后,我很难一眼看出哪些问题需要优先解决。

于是,我让Vida把整个仓库过了一遍。

它自己把所有代码和 Issue 读了一遍,按照核心架构、运行环境、AI 引擎集成等维度分门别类,甚至排好了优先级。

后面该修啥、先修啥,我直接看它列的清单干活就行,真香!

我让它把这些加到待办,顺便安排到明天的日程里面。

讲真,这种感觉真的很妙。

我还用 Wesight 连接 Claude Code 做网页。

我只输入了一句提示词,让Vida帮我进行一波提示词优化。

它很快给了两个优化版本,我直接复制贴回了 Wesight。


优化后的提示词生成的网页效果,交互感直接拉满,样式也很不错。

在休息间隙,我还让Vida帮我做了个桌面大扫除。

堆在桌面上的各种凌乱文档、临时图片,被分类整理得整整齐齐。


忙活到晚上,它还会自动为我生成一张「今日战报卡」。

清晰总结了完成的事项、关键产出、用时分布、今日关键词以及明天的 To-do 计划。


很神奇的是。

我在做视觉交互测试和整理 Obsidian 笔记时,没有主动打开过Vida。

但等我晚上看战报时,Vida居然在今日进展里,把这两件事清清楚楚地列了出来。


你还别说,这种无需主动召唤、默默在后台打助攻的能力,真的很顶。

这也就是它最核心的定位,Proactive Agent(主动型智能体)。

相比普通被动等待指令的 AI,Vida能持续理解你的工作上下文,积累属于你自己的长期记忆。

Vida能提前预判你的意图,主动站出来协助你处理各种复杂日常,直接交付成型的结果。


不知道大家有没有发现,Agent 的上下文正在从「文本/对话」向「屏幕」快速转变。

不管是前段时间 Codex 录屏固化 SOP,还是操作系统级别的 Agent。

我有预感,智能体的演进,正在迎来一个颠覆性的全新方向。

那就是从「你告诉我」变成「我看见你」。

这种转变,某种程度上意味着AI助手正在从工具走向伙伴。

你不需要频繁给它输入指令,它默默看着你的屏幕,就能懂你在忙什么、需要什么,然后主动打出助攻。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
反转又反转!美国女死囚被注射两剂致死药物后仍活着还打鼾,紧急送医治疗

反转又反转!美国女死囚被注射两剂致死药物后仍活着还打鼾,紧急送医治疗

澎湃新闻
2026-10-01 16:10:04
新加坡一酒店华人员工拒绝中文沟通引爆热搜!中国游客怒斥:“这难道不是种族歧视”?!

新加坡一酒店华人员工拒绝中文沟通引爆热搜!中国游客怒斥:“这难道不是种族歧视”?!

新加坡万事通
2026-09-30 18:53:54
广东汕尾市不再对华侨管理区参照县区管理,由陆丰市参照乡镇模式管理

广东汕尾市不再对华侨管理区参照县区管理,由陆丰市参照乡镇模式管理

澎湃新闻
2026-09-30 14:38:28
台州女老板回国下飞机后,哭着打电话给丈夫:包不见了,恐怕要损失几十万元生意!濒临崩溃时,一通电话打了过来……

台州女老板回国下飞机后,哭着打电话给丈夫:包不见了,恐怕要损失几十万元生意!濒临崩溃时,一通电话打了过来……

台州交通广播
2026-10-01 10:40:00
深圳网友称高铁候补订单0:38兑现成功,早上睡醒发现车已开走,12306回应:候补时可设置截止兑现时间,系统默认截止兑现时间为开车前6小时

深圳网友称高铁候补订单0:38兑现成功,早上睡醒发现车已开走,12306回应:候补时可设置截止兑现时间,系统默认截止兑现时间为开车前6小时

潇湘晨报
2026-10-01 10:53:13
以色列方面还原现场: 行凶飞行员 要让约180名乘客 一起坠毁!

以色列方面还原现场: 行凶飞行员 要让约180名乘客 一起坠毁!

每日经济新闻
2026-09-30 23:36:24
胡锡进发微博忘删AI回复“需要我帮你通读核对吗?”,网友:比自己写便宜

胡锡进发微博忘删AI回复“需要我帮你通读核对吗?”,网友:比自己写便宜

可达鸭面面观
2026-10-01 14:43:37
国家队生涯结束?41岁C罗宣布离开葡萄牙队集训营:会适时公布真相

国家队生涯结束?41岁C罗宣布离开葡萄牙队集训营:会适时公布真相

我爱英超
2026-10-01 06:43:10
今早,深中通道分流管控!有人凌晨出发,堵了40分钟还没上桥,网友:一小时走了500米;交警紧急提醒

今早,深中通道分流管控!有人凌晨出发,堵了40分钟还没上桥,网友:一小时走了500米;交警紧急提醒

南方都市报
2026-10-01 11:14:46
“一夜之间,客户和房东都坐不住了!”150万成了楼市“黄金线”?挂牌一年半的房东问:要不要降到149万?

“一夜之间,客户和房东都坐不住了!”150万成了楼市“黄金线”?挂牌一年半的房东问:要不要降到149万?

都市快报橙柿互动
2026-10-01 00:30:25
政府、国家、祖国三者不可混淆

政府、国家、祖国三者不可混淆

觉民行道
2026-10-01 11:31:29
刚刚!中央电视台国庆节晚会节目单正式发布

刚刚!中央电视台国庆节晚会节目单正式发布

草莓解说体育
2026-10-01 13:38:38
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
林诗栋4-0王楚钦夺冠,现场却齐喊“王皓下课”,王皓罕见连鼓两次掌回怼

林诗栋4-0王楚钦夺冠,现场却齐喊“王皓下课”,王皓罕见连鼓两次掌回怼

火锅局
2026-10-01 13:09:57
皇马门将库尔图瓦评价穆帅:穆里尼奥依旧是切尔西的那个穆里尼奥,公开场合更沉稳,对内依旧高标准;皇马今年会迎来变革!

皇马门将库尔图瓦评价穆帅:穆里尼奥依旧是切尔西的那个穆里尼奥,公开场合更沉稳,对内依旧高标准;皇马今年会迎来变革!

福酱的小时光
2026-10-01 16:25:13
上海94岁阿婆独自外出,摔倒流血,坚持不肯去医院!检查结果让所有人后怕…

上海94岁阿婆独自外出,摔倒流血,坚持不肯去医院!检查结果让所有人后怕…

上观新闻
2026-10-01 08:54:39
苦战163分钟!中网金花德比:郑钦文2-1险些爆冷,下一轮对手出炉

苦战163分钟!中网金花德比:郑钦文2-1险些爆冷,下一轮对手出炉

侃球熊弟
2026-10-01 12:18:01
“足够先进,可以展示”

“足够先进,可以展示”

都市快报橙柿互动
2026-10-01 18:13:31
“刺刀见红后的备降”:迪拜飞以色列航班落到沙特,以军战机升空!

“刺刀见红后的备降”:迪拜飞以色列航班落到沙特,以军战机升空!

新民晚报
2026-10-01 16:52:41
关晓彤西班牙度假,头秃装嫩土气狂晒脚丫,与助理深夜偷溜去酒吧

关晓彤西班牙度假,头秃装嫩土气狂晒脚丫,与助理深夜偷溜去酒吧

白面书誏
2026-10-01 14:51:49
2026-10-01 18:55:00
苍何
苍何
前大厂工程师,努力分享AI干货知识
183文章数 173关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

迪拜客机乘客披露救治细节:机长倒在血泊 手几乎被切断

头条要闻

迪拜客机乘客披露救治细节:机长倒在血泊 手几乎被切断

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

宋佳二封金鹰视后 内娱奖项史即将改写

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

手机
健康
时尚
亲子
军事航空

手机要闻

越用越懂你 Mate90上的小艺这次升级戳中了多少用户痛点

刷酸祛痘,为什么有人翻车?

在米兰,用时装唤醒内心的自我

亲子要闻

潮州潮韩新时代月子中心的服务真的好吗?

军事要闻

美防长宣布组建“自主作战司令部”

无障碍浏览 进入关怀版