网易首页 > 网易号 > 正文 申请入驻

Akka 在 65 个开源项目中测试基于规格的 AI 交付

0
分享至


作者 | Leela Kumili

译者 | 平川

Akka 利用 65 个开源项目,对一种基于规格说明的 AI 辅助软件移植工作流进行了 测试,评估内容包括:规格说明的结构、上下文、模型和工作量选择、自动化验证、token 消耗以及运行时性能。首轮测试耗时 99.3 小时,消耗了 94.1 亿个令牌。根据 Akka 的报告,在 65 个移植项目中,有 57 个在代码行数或性能方面实现了提升。

该实验分成了两个阶段。Akka 对全部 65 个项目进行了分析,生成规格说明并实现了每个项目最多 10% 的功能。随后,他们根据系统特性和可量化的结果,从中选出 10 个项目进行了完整实现。交付管控工作流循环经历了需求发现、规格定义、移植、基准测试和优化等阶段。需求发现阶段对代码、模型、模式和运行时行为进行了分析,而 Claude 配合 Akka Specify 则负责实现、测试和审查工作,然后通过一个通用的基准测试运行器,对测试、代码规模和延迟进行了比较。


Akka 的交付管控工作流(图片来源:Akka 博客)

Akka 发现,包含声明、证据和类型化行为的结构化规格说明能够改善首次实现的效果,而上下文文件中缺少了跨组件决策的内容。后续研究领域包括接口枚举、测试数据导入、溯源追踪、差异测试和对抗性测试。GitHub Spec Kit 同样围绕规格说明、规划、任务、实现和收敛这几个环节,对编码代理的工作流进行了结构化设计。在 Akka 的实验中,Sonnet 平均每项移植耗时 61 分钟,而 Opus 则为 120 分钟;但 Opus 的 token 消耗量少了大约 40%。虽然提高工作量设置会增加消耗,却并不能获得持续的效率提升。

研究结果的发布引发了工程师们的一番讨论。在 LinkedIn 上,Aaditya 在 Akka 首席执行官 Tyler Jewell 的一篇博文下 评论 道:

规模较小的模型其行为与他观察到的现代化改造工作相符,即较小的模型会严格遵循规范,而较大的模型则可能会进行即兴调整。

Aaditya 还提出了一个 问题:

代码行数的减少主要是源于死代码的移除,还是源于目标语言的差异?

在同一场讨论中,Avahi 市场部负责人 Rick Bryce提到 了一个相关的点,并指出限制条件可能会影响结果。这些评论引发了新的疑问:移植效率的差异究竟是源于模型能力、规格限制,还是两者兼而有之。

成本更低的模型能实现更精确的移植,这一发现值得深入探究。


Akka 模型与工作量效率图(图片来源: Akka 博客)

验证工作采用了原始的单元测试和集成测试,并且同时由审核人员对序列化、安全性、错误处理、个人身份信息(PII)、幂等性以及架构边界进行了检查。随着移植故障暴露出的新问题,Akka 增加了防护措施,但同时也指出,额外的退出条件增加了移植成本。性能表现因项目而异:应用程序、框架和库的性能普遍得到提升,而基础设施和工具的性能中位数则有所下降。根据 Akka 的报告,Dify 的性能提升了 143333 倍,不过所对比的工作负载存在差异;而 Netflix Metaflow 的运行速度则慢了约 100 倍。

https://www.infoq.com/news/2026/10/ai-spec-driven-delivery/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CBA最新积分榜排名!首钢第1,上海跌至第4,辽宁第9,广东第11,山东第20

CBA最新积分榜排名!首钢第1,上海跌至第4,辽宁第9,广东第11,山东第20

老吴说体育
2026-10-22 22:42:19
《街头霸王》真人电影春丽特写洗澡戏 全身一览无余

《街头霸王》真人电影春丽特写洗澡戏 全身一览无余

3DM游戏
2026-10-21 07:50:11
辽宁省委书记许昆林:李忠同志来辽宁任职,充分体现党中央对辽宁省委班子建设的高度重视和亲切关怀、对辽宁振兴发展的悉心关爱和大力支持

辽宁省委书记许昆林:李忠同志来辽宁任职,充分体现党中央对辽宁省委班子建设的高度重视和亲切关怀、对辽宁振兴发展的悉心关爱和大力支持

极目新闻
2026-10-22 20:13:36
发现件有意思的事:全红婵才19岁,竟已拥有三个独立个人代言

发现件有意思的事:全红婵才19岁,竟已拥有三个独立个人代言

草莓解说体育
2026-10-22 07:33:26
四年血白流?从寸土不让到75%,泽连斯基啥意思?

四年血白流?从寸土不让到75%,泽连斯基啥意思?

看看新闻Knews
2026-10-22 12:18:46
随着福建95-76,广东96-78,北京120-62,CBA最新积分榜出炉

随着福建95-76,广东96-78,北京120-62,CBA最新积分榜出炉

侧身凌空斩
2026-10-22 21:40:53
CCTV5直播!时隔21年,国足再战世少赛,吕孟洋无缘,赵松源带队拿首胜

CCTV5直播!时隔21年,国足再战世少赛,吕孟洋无缘,赵松源带队拿首胜

篮球圈里的那些事
2026-10-22 18:46:20
太离谱!手握 10 篇 SCI,读片张口就盲猜病情,医学生全网吵翻

太离谱!手握 10 篇 SCI,读片张口就盲猜病情,医学生全网吵翻

秒懂资讯
2026-10-22 15:39:36
局势升温!454票压倒性通过对华强硬决议,中国须做好最坏准备

局势升温!454票压倒性通过对华强硬决议,中国须做好最坏准备

白日追梦人
2026-10-22 10:12:53
穆帅:国家德比就是国家德比,哪怕我们今天输0-5也不影响

穆帅:国家德比就是国家德比,哪怕我们今天输0-5也不影响

懂球帝
2026-10-22 07:02:12
中国乒乓大捷!4-3夺冠,绝杀日本松岛美空,杜韩静3小将豪夺3冠

中国乒乓大捷!4-3夺冠,绝杀日本松岛美空,杜韩静3小将豪夺3冠

湘村大余
2026-10-19 18:37:44
大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

扶苏聊历史
2026-09-22 16:09:20
出现大失误!中国队20年来首次无缘世锦赛决赛,团体领先美国队

出现大失误!中国队20年来首次无缘世锦赛决赛,团体领先美国队

粵語经典歌單
2026-10-22 09:21:05
布达拉宫剖开内部图看懂:为何走进布达拉宫,很多人会觉心里发紧

布达拉宫剖开内部图看懂:为何走进布达拉宫,很多人会觉心里发紧

小豫讲故事
2026-10-20 06:00:13
科比意外离世仅6年,遗孀瓦妮莎迎来喜讯,怀孕传闻早真相大白

科比意外离世仅6年,遗孀瓦妮莎迎来喜讯,怀孕传闻早真相大白

探长影视解说
2026-10-22 15:36:45
应采儿带儿子迪士尼度假,偶遇邓超热聊,13岁Jasper还没妈妈高

应采儿带儿子迪士尼度假,偶遇邓超热聊,13岁Jasper还没妈妈高

八怪娱
2026-10-22 16:26:31
人社局:正高级职称补贴30万,副高级20万,中级6万

人社局:正高级职称补贴30万,副高级20万,中级6万

新浪财经
2026-10-19 22:35:08
经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

每日经济新闻
2026-10-22 19:02:27
大批美国游客从中国离开后,坦言:客观来说,中国比美国强多了

大批美国游客从中国离开后,坦言:客观来说,中国比美国强多了

浩渺青史
2026-10-22 14:48:21
沪指失守3700点,江浙地区有私募爆仓?

沪指失守3700点,江浙地区有私募爆仓?

都市快报橙柿互动
2026-10-22 16:44:57
2026-10-22 23:19:00
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13102文章数 52117关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

孙颖莎王曼昱缺阵 国乒女团2-3不敌日本无缘女团金牌

头条要闻

孙颖莎王曼昱缺阵 国乒女团2-3不敌日本无缘女团金牌

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

宁德,跌成了一只红利股?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

家居
游戏
艺术
本地
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

顽皮狗没活硬整!美末2旧角色当新内容 玩家不买账

艺术要闻

赵无极 80岁画的《紫气东来》,1667.5万!

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版