网易首页 > 网易号 > 正文 申请入驻

Akka 在 65 个开源项目中测试基于规格的 AI 交付

0
分享至


作者 | Leela Kumili

译者 | 平川

Akka 利用 65 个开源项目,对一种基于规格说明的 AI 辅助软件移植工作流进行了 测试,评估内容包括:规格说明的结构、上下文、模型和工作量选择、自动化验证、token 消耗以及运行时性能。首轮测试耗时 99.3 小时,消耗了 94.1 亿个令牌。根据 Akka 的报告,在 65 个移植项目中,有 57 个在代码行数或性能方面实现了提升。

该实验分成了两个阶段。Akka 对全部 65 个项目进行了分析,生成规格说明并实现了每个项目最多 10% 的功能。随后,他们根据系统特性和可量化的结果,从中选出 10 个项目进行了完整实现。交付管控工作流循环经历了需求发现、规格定义、移植、基准测试和优化等阶段。需求发现阶段对代码、模型、模式和运行时行为进行了分析,而 Claude 配合 Akka Specify 则负责实现、测试和审查工作,然后通过一个通用的基准测试运行器,对测试、代码规模和延迟进行了比较。


Akka 的交付管控工作流(图片来源:Akka 博客)

Akka 发现,包含声明、证据和类型化行为的结构化规格说明能够改善首次实现的效果,而上下文文件中缺少了跨组件决策的内容。后续研究领域包括接口枚举、测试数据导入、溯源追踪、差异测试和对抗性测试。GitHub Spec Kit 同样围绕规格说明、规划、任务、实现和收敛这几个环节,对编码代理的工作流进行了结构化设计。在 Akka 的实验中,Sonnet 平均每项移植耗时 61 分钟,而 Opus 则为 120 分钟;但 Opus 的 token 消耗量少了大约 40%。虽然提高工作量设置会增加消耗,却并不能获得持续的效率提升。

研究结果的发布引发了工程师们的一番讨论。在 LinkedIn 上,Aaditya 在 Akka 首席执行官 Tyler Jewell 的一篇博文下 评论 道:

规模较小的模型其行为与他观察到的现代化改造工作相符,即较小的模型会严格遵循规范,而较大的模型则可能会进行即兴调整。

Aaditya 还提出了一个 问题:

代码行数的减少主要是源于死代码的移除,还是源于目标语言的差异?

在同一场讨论中,Avahi 市场部负责人 Rick Bryce提到 了一个相关的点,并指出限制条件可能会影响结果。这些评论引发了新的疑问:移植效率的差异究竟是源于模型能力、规格限制,还是两者兼而有之。

成本更低的模型能实现更精确的移植,这一发现值得深入探究。


Akka 模型与工作量效率图(图片来源: Akka 博客)

验证工作采用了原始的单元测试和集成测试,并且同时由审核人员对序列化、安全性、错误处理、个人身份信息(PII)、幂等性以及架构边界进行了检查。随着移植故障暴露出的新问题,Akka 增加了防护措施,但同时也指出,额外的退出条件增加了移植成本。性能表现因项目而异:应用程序、框架和库的性能普遍得到提升,而基础设施和工具的性能中位数则有所下降。根据 Akka 的报告,Dify 的性能提升了 143333 倍,不过所对比的工作负载存在差异;而 Netflix Metaflow 的运行速度则慢了约 100 倍。

https://www.infoq.com/news/2026/10/ai-spec-driven-delivery/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
问界的回应太不人道了

问界的回应太不人道了

据说无据
2026-10-21 19:03:38
苏联最后元帅的临终前劝诫普京:俄罗斯的未来,答案在中国

苏联最后元帅的临终前劝诫普京:俄罗斯的未来,答案在中国

磊子讲史
2026-10-22 14:31:36
“蛋白吃得好,少往医院跑”!这5种优质高蛋白食物,你都知道吗?

“蛋白吃得好,少往医院跑”!这5种优质高蛋白食物,你都知道吗?

花小厨
2026-09-20 15:24:29
提醒:今年冬天可能是50年以来少见的反常冬天,有5大特点

提醒:今年冬天可能是50年以来少见的反常冬天,有5大特点

健身狂人
2026-10-19 04:47:41
教育部下发消息,中小学生迎来新规定,家长:教育早就该这样了!

教育部下发消息,中小学生迎来新规定,家长:教育早就该这样了!

凯旋学长
2026-10-22 14:53:25
养老金重算补发陆续开启!30年工龄能补发1000吗?看3个关键条件

养老金重算补发陆续开启!30年工龄能补发1000吗?看3个关键条件

小彬说事
2026-10-22 11:19:48
中国官员提“个人是养老第一责任人” 引发社保缴费与未来养老焦虑

中国官员提“个人是养老第一责任人” 引发社保缴费与未来养老焦虑

周军律师聊案子
2026-10-22 11:25:01
水利部对4省份启动洪水防御Ⅳ级应急响应

水利部对4省份启动洪水防御Ⅳ级应急响应

澎湃新闻
2026-10-22 21:08:03
不是刘诗雯,WTT官宣,重要人事任命,乒乓美女被提拔,孙颖莎王楚钦有福了

不是刘诗雯,WTT官宣,重要人事任命,乒乓美女被提拔,孙颖莎王楚钦有福了

喜欢体育的猫
2026-10-22 09:51:32
26.98万起 小鹏版大揽子卖爆!小鹏GX累计交付达成30000台

26.98万起 小鹏版大揽子卖爆!小鹏GX累计交付达成30000台

快科技
2026-10-22 18:39:15
美乌关系再度恶化

美乌关系再度恶化

陆弃
2026-10-22 11:04:51
国际贵金属走低 现货黄金跌幅扩大至2%

国际贵金属走低 现货黄金跌幅扩大至2%

证券时报
2026-10-22 20:26:03
伊朗革命卫队:敌人应知晓霍尔木兹海峡有7条主要海底光缆

伊朗革命卫队:敌人应知晓霍尔木兹海峡有7条主要海底光缆

新京报
2026-10-20 08:08:06
人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

解说阿洎
2026-10-19 04:57:50
俄罗斯专家把话挑明了:如果中国铁了心要对日本动手,那就只有两个选择,要么不出手,要么一击毙命!

俄罗斯专家把话挑明了:如果中国铁了心要对日本动手,那就只有两个选择,要么不出手,要么一击毙命!

回京历史梦
2026-10-11 16:35:06
第一位扮演毛主席的演员,毛主席看后说道:以后不要再演了!

第一位扮演毛主席的演员,毛主席看后说道:以后不要再演了!

翠羽
2026-10-04 13:00:14
西方终于承认!德媒曾感叹:中国像当年的美国,正在悄悄接管世界

西方终于承认!德媒曾感叹:中国像当年的美国,正在悄悄接管世界

乌克兰小静
2026-10-22 07:57:08
扎心了!黄仁勋当着默茨总理的面激将德国:“中国是唯一的”!

扎心了!黄仁勋当着默茨总理的面激将德国:“中国是唯一的”!

起点财经
2026-10-21 09:56:38
联合国曾警告:如果中国人口持续缩减,可能成为全球"最大挑战"

联合国曾警告:如果中国人口持续缩减,可能成为全球"最大挑战"

小嵩
2026-10-22 10:32:23
昨晚!温州诞生一位千万富翁

昨晚!温州诞生一位千万富翁

温百君
2026-10-22 18:27:18
2026-10-22 21:35:00
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13102文章数 52117关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

坠亡2岁男童父亲望维持婚姻:每月给妻子1万 父母出6千

头条要闻

坠亡2岁男童父亲望维持婚姻:每月给妻子1万 父母出6千

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

数据中心建设延期潮 谁受伤、谁受益?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

房产
数码
亲子
家居
军事航空

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

数码要闻

Akko《诡秘之主》联名5098 V5三模机械键盘发售,券后359元

亲子要闻

儿童得了溃疡性结肠炎更严重?仍存在持续未被满足的治疗需求!全新治疗方式临床研究迎来新进展

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

泽连斯基"愿以领土换和平协议" 普京表态

无障碍浏览 进入关怀版