网易首页 > 网易号 > 正文 申请入驻

实测Codex回放新能力,我把RPA自动化工作流全重做了一遍

0
分享至

这几天一直忙着教CodeX一些复杂的活,

新出的操作回放功能Record & Replay是真好玩,当时我第一反应是,这不就是RPA吗,区别应该就是换成AI写步骤了,

但测完之后,发现完全不是一回事。 所以就有了今天这篇文章,讲讲它是怎么把我两个一直卡着的真实痛点给解决掉的。

而且测完这个功能,我越来越确定一件事,

Codex和 Claude Code,现在走的是两条不同的路。

Codex在通用智能体的路上飞奔,

Record & Replay是最明显的信号,它不是在帮你写代码,是在帮你把现实世界里的重复操作变成可调用的单元(人类撰写声明)。

Claude Code这边就是继续卷编程卷Agent,

最近我用最多的就是Dynamic Workflows(动态工作流),多Agent的机制让CC越来越擅长在一个编程任务里动态调度多个步骤。


(PS:左边打开 Codex,右边终端运行Claude Code)

那回到这两个痛点是什么。

第一个,定向信息搜索。

刷朋友圈刷群突然碰到突发热点,我们都知道在X上大概率是能看到更多的讨论和测试case的。

我之前是直接用Grok去查,然后再把结果整理成文档,其实用Computer Use也能完成这个操作,就是慢,超慢,那网页页面开关十几次,还不如我自己上手,

我想要的其实很简单,

像真人一样打开X,搜这件事,翻结果,整理关键词,在Grok再搜索一次做成表格,整理到本地。

第二个,视频剪辑和上传。

我基本上测试过大部分我刷到的视频剪辑Skill,它们其实都有一些固定的模板,比方说静音检测、气口处理、删重复词,还有在视频里面追加一些Remotion的动画特效,基本上可以剪出一份能够直接拖到剪映里,追加一些特效和音乐就能导出的口播视频。

但是这个方案跟我们日常要上传到公众号的视频素材链路是不一样的。

录完演示视频之后,我要剪辑,加速画面,导出GIF,再贴到公众号。

没什么操作难度,都是贼拉重复的固定流程,但是每次都省略不了。

因为你很难憋出来一段标准,去描述要在什么时候加速,画面里出现什么时加速,这些都是很难被说出来的。

这些都是Record & Replay最擅长的地方。

很多步骤我们已经熟到不用犹豫回想,

鼠标往哪点,哪个状态代表成功,这都成肌肉记忆了。

但让你写成规则、节点、条件分支,

就开始卡了。以前的RPA、Zapier、Make,基本都死在这里。

它们一上来就只会问你,你想自动化什么?

就算没有做过RPA,有通过iphone手机的快捷指令抢红包的朋友也能知道这过程有多复杂。


也就是说,哪怕有AI的辅助,你也得先了解点鼠标,开关屏幕,点录制等对应的操作,或者考虑是否要额外录一个按钮进去。

做的流程少了,我觉得没必要浪费时间去弄 RPA,做的流程多了,一旦中间有一些按键或步骤发生迁移,链路里的某个环节就要重建。

反正就是我留下来的RPA流程真不算多。

Record & Replay直接把这个摩擦给抹平了。

仔细回想一下,如果我要把这个流程交给一个人,让TA以最快速度学会,我也更倾向于打开视频会议,手把手教一遍,然后把录屏存下来,TA自己操作的时候有什么不懂,就直接看视频就搞定了。因为其中有很多步骤,我会一边操作一边辅助说明,这更符合我们日常的直觉。

换到Codex这,就是在插件这里把record添加进来,


然后正常做一遍,该点哪点哪,该填什么填什么,

不用改自己的操作方式,也不用提前写SOP。

Codex就在旁边看着,等你停下来,它把这套过程整理成一份结构化的Skill,可以打开看,可以手动改,下次直接复用。


好消息,成功了,坏消息,成功了一半。

对于视频的剪辑以及加速,它是可以做的。但是剪辑之后的上传,会被卡在浏览器自动化对于原有站点的安全策略上,所以会被明确地拒绝。


(1分钟内的素材剪出来的质量还是可以的)

所以如果我们想做的话,做之前还是可以先让CodeX出一个 Plan,看看你整体操作的所有过程环节里会不会被卡。在不被卡的情况下再进行录制,就会很简单。

还有一个问题,在录制的这个过程中,尽可能不要用快捷键,尽可能在操作的时候用全屏。

那除了剪辑,我刚刚还有一个痛点,就是多轮搜索,

通过Grok直接搜索一个信息,获取 X上面的高赞帖子,然后我再可以根据这些帖子的关键词再去补充搜索,下载一些视频素材和表格。这样操作下来,基本能满足一篇图文所需素材的 60% 到 70%。

我比较惊喜的点是,Codex并不是在简单地照搬,它有自己的思路。

我在操作时演示得不算完整,


我先搜了最近三个月、点赞数(Like)超过 100 的帖子,这是我常用的选项。

把这些帖子整理成表格,在最底下发现游戏构建这个词经常和Fable 5一起出现。

于是我把这两个词组成新的关键词,回到X上继续搜索,发现了一个点赞量很高表现不错的视频,并把它下载下来作为演示素材。

Codex 理解完这一系列操作后,会在输入给Grok之前,自动增加一部分输入文本,让它输出适合中文搜索的关键词库。我觉得这一点非常棒,因为它把一个很难具象化的细节操作给自动化了。


我在进行信息搜索的时候,看到关键词会自然地想着往下搜,但实际上你很难提前告诉 AI 该怎么做,特别是不同的实体会有不同的关键词。

Codex理解了我的这部操作,并用它自己的方式实现了出来。

所以最后能看到,codex用这个新skill给我们整理了完整的表格,输出每个表格的互动指标。还提供了短关键词,从思考过程中可以看到,它在搜索短关键词时尝试了很多不同的组合。

在不同组的查询中,它发现多个关键词指向的是同一批高互赞帖子,所以它会还额外补充一个相关查询,并重新整理成表格。基本上,它已经能做到一个可以和Deep Research互补的版本,至少达到了我能接受的水平。



我们要做的,就是把我们已知的操作完整演练一遍就可以了。

说实话,目前Record & Replay还是依赖Computer Use,还是靠图片理解在操作,

操作起来真不算快,偶尔会判断错该点哪里。

更类人的操作,还得等一个更强的视觉模型来做。

我觉得它真正可能替代的,不只是RPA,还有一部分传统 Replay。

传统Replay更像是把过去录下来。

你回头看,回头复盘,回头找当时发生了什么。

Codex更激进一点。

它不是只保存过去。

它把过去变成下一次可执行的上下文。

你上次怎么做的,它不只是回放给你看,是整理成 Skill,下次继续用(人类撰写证明)。

这就很骚了。

因为对我这种天天做内容,做产品,做点小工具的人来说,

我最不缺的就是录像。

我缺的是可以复用的经验。

我不需要把每一次鼠标移动都永久保存。

我需要的是,

下一次遇到同类任务时,

Agent记得我怎么判断,怎么取舍,怎么验收。

从这个角度看,

Record & Replay是把人的一次操作,

转化成Agent下次能用的经验。

以前这是自动化的终点。

现在成了自动化的起点。

@ 作者 / 卡尔

最后,感谢你看到这里如果喜欢这篇文章,不妨顺手给我们点赞|在看|转发|评论

如果想要第一时间收到推送,不妨给我个星标

如果你有更有趣的玩法,欢迎在评论区聊聊

更多的内容正在不断填坑中……


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发讣告:李英宾逝世,年仅46岁

突发讣告:李英宾逝世,年仅46岁

南方都市报
2026-09-04 08:22:56
800亩大葱成熟,被拦着运不出去?村民:“我要我们土地的流转费,不给就不让葱出去……”

800亩大葱成熟,被拦着运不出去?村民:“我要我们土地的流转费,不给就不让葱出去……”

大风新闻
2026-09-04 08:57:07
为啥男租户不被大多数房东待见?网友:绝对不要租给小姑娘!都是泪!

为啥男租户不被大多数房东待见?网友:绝对不要租给小姑娘!都是泪!

带你感受人间冷暖
2026-09-04 00:07:54
全面按下暂停键!日媒爆料:中国多所顶尖大学,叫停赴日交换生

全面按下暂停键!日媒爆料:中国多所顶尖大学,叫停赴日交换生

共工之锚
2026-09-04 00:23:43
被要求补缴社保,老板在店门口滚屏抱怨,“选择员工需谨慎”

被要求补缴社保,老板在店门口滚屏抱怨,“选择员工需谨慎”

中国新闻周刊
2026-09-04 09:47:35
70岁后不要做的6大体检,不仅没用还伤身,为您揭秘!

70岁后不要做的6大体检,不仅没用还伤身,为您揭秘!

鬼菜生活
2026-09-04 05:17:54
星宇股份,竟然还有瓜!

星宇股份,竟然还有瓜!

亮见
2026-09-03 15:30:11
张益唐孪生素数猜想,被GPT-6破新纪录! 北大数学07级苏炜杰:很震撼

张益唐孪生素数猜想,被GPT-6破新纪录! 北大数学07级苏炜杰:很震撼

新智元
2026-09-04 10:23:21
G20大合照刚刚曝光,站位安排就迅速引爆争议!日本代表现身“C位”,中国代表的位置却出乎不少人预料,美国究竟在借合影传递什么信号?

G20大合照刚刚曝光,站位安排就迅速引爆争议!日本代表现身“C位”,中国代表的位置却出乎不少人预料,美国究竟在借合影传递什么信号?

扶苏聊历史
2026-09-03 14:56:15
最年轻的陆军部长,越级告了状,甩手就走人

最年轻的陆军部长,越级告了状,甩手就走人

中国新闻周刊
2026-09-04 12:12:22
玉渊谭天丨中国为什么对G20这场会未发表公报表示遗憾

玉渊谭天丨中国为什么对G20这场会未发表公报表示遗憾

环球网资讯
2026-09-03 23:06:06
专家建议:恢复征收农业税,农民种地交公粮,天经地义

专家建议:恢复征收农业税,农民种地交公粮,天经地义

一些小事
2026-09-04 08:58:06
陈春江当选洛阳市委书记,他曾任陕西省副省长

陈春江当选洛阳市委书记,他曾任陕西省副省长

大风新闻
2026-09-04 10:22:13
上海女子400万兰博基尼停地库,被偷成空壳,维修费要300多万

上海女子400万兰博基尼停地库,被偷成空壳,维修费要300多万

听心堂
2026-09-04 09:50:16
52岁黄渤骑车摔倒骨折住院,本人回应:这回算是用自己的锁骨换了个提醒,骑车千万不能一心二用,等我好了还要接着骑,安安全全地骑

52岁黄渤骑车摔倒骨折住院,本人回应:这回算是用自己的锁骨换了个提醒,骑车千万不能一心二用,等我好了还要接着骑,安安全全地骑

潇湘晨报
2026-09-03 21:58:15
谢贤前女友Coco直播被说丑,本人回应:“姐都40岁了,把头发往下一放还是迷倒一大片的”

谢贤前女友Coco直播被说丑,本人回应:“姐都40岁了,把头发往下一放还是迷倒一大片的”

韩小娱
2026-09-04 05:54:22
当众脱鞋!31岁对手被郑钦文打崩溃:4次怒摔球拍 抱怨观众太吵了

当众脱鞋!31岁对手被郑钦文打崩溃:4次怒摔球拍 抱怨观众太吵了

风过乡
2026-09-04 07:05:29
无缘美网32强!布云朝克特1-3输郑瑞 止步次轮仍完成生涯突破

无缘美网32强!布云朝克特1-3输郑瑞 止步次轮仍完成生涯突破

醉卧浮生
2026-09-04 10:16:17
震惊!网传上海女房东二手房交易进行到一半,突然当场飙泪,中介坐在旁边手足无措

震惊!网传上海女房东二手房交易进行到一半,突然当场飙泪,中介坐在旁边手足无措

火山詩话
2026-09-03 07:28:46
“星宇”,我拿什么拯救你!9月3日,星宇股价连续六天连跌,市值蒸发32亿,这现世报来的教训多么深刻呀

“星宇”,我拿什么拯救你!9月3日,星宇股价连续六天连跌,市值蒸发32亿,这现世报来的教训多么深刻呀

火山詩话
2026-09-04 10:42:41
2026-09-04 13:19:00
卡尔的AI沃茨 incentive-icons
卡尔的AI沃茨
前大厂算法工程师,3家科技公司技术总监|致力打造最系统的Al学习体系,让1万人通过Al提高生产力
327文章数 144关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

梦碎的王子六年后“羞辱”回归 国王表态

头条要闻

梦碎的王子六年后“羞辱”回归 国王表态

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

王宝强冯清八年未领证!真相令人泪目

财经要闻

GPT-6 Astra上线,AGI时代真到来了吗?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

教育
本地
健康
手机
公开课

教育要闻

高考低分不想复读?2+2、本硕连读,一文读懂分段式海外本科升学

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

脑梗能否取栓,关键看这几点!

手机要闻

华为CMM-AL00新机入网搭载6615mAh大电池

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版