网易首页 > 网易号 > 正文 申请入驻

实测Codex回放新能力,我把RPA自动化工作流全重做了一遍

0
分享至

这几天一直忙着教CodeX一些复杂的活,

新出的操作回放功能Record & Replay是真好玩,当时我第一反应是,这不就是RPA吗,区别应该就是换成AI写步骤了,

但测完之后,发现完全不是一回事。 所以就有了今天这篇文章,讲讲它是怎么把我两个一直卡着的真实痛点给解决掉的。

而且测完这个功能,我越来越确定一件事,

Codex和 Claude Code,现在走的是两条不同的路。

Codex在通用智能体的路上飞奔,

Record & Replay是最明显的信号,它不是在帮你写代码,是在帮你把现实世界里的重复操作变成可调用的单元(人类撰写声明)。

Claude Code这边就是继续卷编程卷Agent,

最近我用最多的就是Dynamic Workflows(动态工作流),多Agent的机制让CC越来越擅长在一个编程任务里动态调度多个步骤。


(PS:左边打开 Codex,右边终端运行Claude Code)

那回到这两个痛点是什么。

第一个,定向信息搜索。

刷朋友圈刷群突然碰到突发热点,我们都知道在X上大概率是能看到更多的讨论和测试case的。

我之前是直接用Grok去查,然后再把结果整理成文档,其实用Computer Use也能完成这个操作,就是慢,超慢,那网页页面开关十几次,还不如我自己上手,

我想要的其实很简单,

像真人一样打开X,搜这件事,翻结果,整理关键词,在Grok再搜索一次做成表格,整理到本地。

第二个,视频剪辑和上传。

我基本上测试过大部分我刷到的视频剪辑Skill,它们其实都有一些固定的模板,比方说静音检测、气口处理、删重复词,还有在视频里面追加一些Remotion的动画特效,基本上可以剪出一份能够直接拖到剪映里,追加一些特效和音乐就能导出的口播视频。

但是这个方案跟我们日常要上传到公众号的视频素材链路是不一样的。

录完演示视频之后,我要剪辑,加速画面,导出GIF,再贴到公众号。

没什么操作难度,都是贼拉重复的固定流程,但是每次都省略不了。

因为你很难憋出来一段标准,去描述要在什么时候加速,画面里出现什么时加速,这些都是很难被说出来的。

这些都是Record & Replay最擅长的地方。

很多步骤我们已经熟到不用犹豫回想,

鼠标往哪点,哪个状态代表成功,这都成肌肉记忆了。

但让你写成规则、节点、条件分支,

就开始卡了。以前的RPA、Zapier、Make,基本都死在这里。

它们一上来就只会问你,你想自动化什么?

就算没有做过RPA,有通过iphone手机的快捷指令抢红包的朋友也能知道这过程有多复杂。


也就是说,哪怕有AI的辅助,你也得先了解点鼠标,开关屏幕,点录制等对应的操作,或者考虑是否要额外录一个按钮进去。

做的流程少了,我觉得没必要浪费时间去弄 RPA,做的流程多了,一旦中间有一些按键或步骤发生迁移,链路里的某个环节就要重建。

反正就是我留下来的RPA流程真不算多。

Record & Replay直接把这个摩擦给抹平了。

仔细回想一下,如果我要把这个流程交给一个人,让TA以最快速度学会,我也更倾向于打开视频会议,手把手教一遍,然后把录屏存下来,TA自己操作的时候有什么不懂,就直接看视频就搞定了。因为其中有很多步骤,我会一边操作一边辅助说明,这更符合我们日常的直觉。

换到Codex这,就是在插件这里把record添加进来,


然后正常做一遍,该点哪点哪,该填什么填什么,

不用改自己的操作方式,也不用提前写SOP。

Codex就在旁边看着,等你停下来,它把这套过程整理成一份结构化的Skill,可以打开看,可以手动改,下次直接复用。


好消息,成功了,坏消息,成功了一半。

对于视频的剪辑以及加速,它是可以做的。但是剪辑之后的上传,会被卡在浏览器自动化对于原有站点的安全策略上,所以会被明确地拒绝。


(1分钟内的素材剪出来的质量还是可以的)

所以如果我们想做的话,做之前还是可以先让CodeX出一个 Plan,看看你整体操作的所有过程环节里会不会被卡。在不被卡的情况下再进行录制,就会很简单。

还有一个问题,在录制的这个过程中,尽可能不要用快捷键,尽可能在操作的时候用全屏。

那除了剪辑,我刚刚还有一个痛点,就是多轮搜索,

通过Grok直接搜索一个信息,获取 X上面的高赞帖子,然后我再可以根据这些帖子的关键词再去补充搜索,下载一些视频素材和表格。这样操作下来,基本能满足一篇图文所需素材的 60% 到 70%。

我比较惊喜的点是,Codex并不是在简单地照搬,它有自己的思路。

我在操作时演示得不算完整,


我先搜了最近三个月、点赞数(Like)超过 100 的帖子,这是我常用的选项。

把这些帖子整理成表格,在最底下发现游戏构建这个词经常和Fable 5一起出现。

于是我把这两个词组成新的关键词,回到X上继续搜索,发现了一个点赞量很高表现不错的视频,并把它下载下来作为演示素材。

Codex 理解完这一系列操作后,会在输入给Grok之前,自动增加一部分输入文本,让它输出适合中文搜索的关键词库。我觉得这一点非常棒,因为它把一个很难具象化的细节操作给自动化了。


我在进行信息搜索的时候,看到关键词会自然地想着往下搜,但实际上你很难提前告诉 AI 该怎么做,特别是不同的实体会有不同的关键词。

Codex理解了我的这部操作,并用它自己的方式实现了出来。

所以最后能看到,codex用这个新skill给我们整理了完整的表格,输出每个表格的互动指标。还提供了短关键词,从思考过程中可以看到,它在搜索短关键词时尝试了很多不同的组合。

在不同组的查询中,它发现多个关键词指向的是同一批高互赞帖子,所以它会还额外补充一个相关查询,并重新整理成表格。基本上,它已经能做到一个可以和Deep Research互补的版本,至少达到了我能接受的水平。



我们要做的,就是把我们已知的操作完整演练一遍就可以了。

说实话,目前Record & Replay还是依赖Computer Use,还是靠图片理解在操作,

操作起来真不算快,偶尔会判断错该点哪里。

更类人的操作,还得等一个更强的视觉模型来做。

我觉得它真正可能替代的,不只是RPA,还有一部分传统 Replay。

传统Replay更像是把过去录下来。

你回头看,回头复盘,回头找当时发生了什么。

Codex更激进一点。

它不是只保存过去。

它把过去变成下一次可执行的上下文。

你上次怎么做的,它不只是回放给你看,是整理成 Skill,下次继续用(人类撰写证明)。

这就很骚了。

因为对我这种天天做内容,做产品,做点小工具的人来说,

我最不缺的就是录像。

我缺的是可以复用的经验。

我不需要把每一次鼠标移动都永久保存。

我需要的是,

下一次遇到同类任务时,

Agent记得我怎么判断,怎么取舍,怎么验收。

从这个角度看,

Record & Replay是把人的一次操作,

转化成Agent下次能用的经验。

以前这是自动化的终点。

现在成了自动化的起点。

@ 作者 / 卡尔

最后,感谢你看到这里如果喜欢这篇文章,不妨顺手给我们点赞|在看|转发|评论

如果想要第一时间收到推送,不妨给我个星标

如果你有更有趣的玩法,欢迎在评论区聊聊

更多的内容正在不断填坑中……


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
油车被电车打得满地找牙,工信部终于发话了:坚决抵制非理性竞争

油车被电车打得满地找牙,工信部终于发话了:坚决抵制非理性竞争

侃故事的阿庆
2026-09-04 00:27:30
20斤!减重20斤!你好啊!中国男篮第一后卫

20斤!减重20斤!你好啊!中国男篮第一后卫

篮球实战宝典
2026-09-03 20:55:33
安踏,快被自己养大的“小弟”挤下主位了!

安踏,快被自己养大的“小弟”挤下主位了!

可乐爱微笑
2026-09-03 22:56:06
尼泊尔泥石流中幸存的“楼坚强”,难道只是因为“幸运”吗?

尼泊尔泥石流中幸存的“楼坚强”,难道只是因为“幸运”吗?

良有方
2026-09-04 06:07:21
贾玲又胖起来,本人回应:实在维持不住,网友:我们玲儿又回来了

贾玲又胖起来,本人回应:实在维持不住,网友:我们玲儿又回来了

喜欢历史的阿繁
2026-09-02 09:16:34
大众中国正式宣布开启对星宇裁员事件的调查

大众中国正式宣布开启对星宇裁员事件的调查

何李燃
2026-09-03 08:10:39
普京就与乌克兰谈判提条件

普京就与乌克兰谈判提条件

参考消息
2026-09-03 14:10:09
40岁金融大佬身亡!从业11年,掌管公司核心机密,死因蹊跷引猜忌

40岁金融大佬身亡!从业11年,掌管公司核心机密,死因蹊跷引猜忌

小鋭有话说
2026-09-03 12:22:59
特斯拉“团灭”网约车司机,已经在路上了

特斯拉“团灭”网约车司机,已经在路上了

今纶财经
2026-09-03 19:59:35
余承东:阔折叠比例被模仿后,含金量会提升!雷军:新形态中折叠!徐洁云:“我有一个同行朋友,学习能力挺强的,大家不要嘲笑他”

余承东:阔折叠比例被模仿后,含金量会提升!雷军:新形态中折叠!徐洁云:“我有一个同行朋友,学习能力挺强的,大家不要嘲笑他”

大白聊IT
2026-09-03 23:28:14
刘强东惊天豪赌,拿下百亿白酒巨头

刘强东惊天豪赌,拿下百亿白酒巨头

跨境派Pro
2026-09-03 15:03:05
飞机上随手一拍,成都航空这位空乘小姐姐真的绝了。

飞机上随手一拍,成都航空这位空乘小姐姐真的绝了。

毒舌八卦
2026-09-03 22:32:24
吴柳芳谈退役安置不公:我没刘翔那命,只有16万买断

吴柳芳谈退役安置不公:我没刘翔那命,只有16万买断

东方不败然多多
2026-09-01 11:00:29
9秒进球越位了?申花正式上诉!足协深夜四条回应,重赛为何没戏

9秒进球越位了?申花正式上诉!足协深夜四条回应,重赛为何没戏

夕落秋山
2026-09-03 10:27:37
全面按下暂停键!日媒爆料:中国多所顶尖大学,叫停赴日交换生

全面按下暂停键!日媒爆料:中国多所顶尖大学,叫停赴日交换生

杰丝聊古今
2026-09-03 10:35:11
杨瀚森面临三条路!第一条,留在开拓者,基本没戏

杨瀚森面临三条路!第一条,留在开拓者,基本没戏

林子说事
2026-09-03 10:34:11
赵丽颖倒下了,真的很突然

赵丽颖倒下了,真的很突然

黎兜兜
2026-09-03 08:12:54
里子面子都丢了,9月刚开始,郭德纲再遭重挫,于谦上演“走面”

里子面子都丢了,9月刚开始,郭德纲再遭重挫,于谦上演“走面”

错过美好
2026-09-03 23:18:54
韩方拒换涉台标牌,中方在开幕前断然撤展,光说道歉已经不管用了

韩方拒换涉台标牌,中方在开幕前断然撤展,光说道歉已经不管用了

叹为观止易
2026-09-04 05:23:20
星宇董事长道歉仅1天,多家官媒再次痛批,言语犀利句句戳她心窝

星宇董事长道歉仅1天,多家官媒再次痛批,言语犀利句句戳她心窝

小鋭有话说
2026-09-03 12:26:40
2026-09-04 07:36:49
卡尔的AI沃茨 incentive-icons
卡尔的AI沃茨
前大厂算法工程师,3家科技公司技术总监|致力打造最系统的Al学习体系,让1万人通过Al提高生产力
327文章数 144关注度
往期回顾 全部

科技要闻

英伟达129亿美元拿下Hugging Face

头条要闻

媒体:美国驻华大使馆关心灾情的方式令人不适

头条要闻

媒体:美国驻华大使馆关心灾情的方式令人不适

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

旅游
本地
时尚
教育
公开课

旅游要闻

2026教师节郑州、河南部分免票景区

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

女人到了60岁衣服少穿大红大绿,试试这些纯色单品,高级又耐看

教育要闻

明明是送分题目,结果全军覆没!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版