智猩猩AI整理
编辑: 没方
今天,田渊栋所在的Recursive团队正式开源Flint-40B-A2B,一款面向本地Coding Agent的混合专家(MoE)模型。
![]()
Recursive借助自研AI自动科研系统Eureka Machine,仅用不到4个月便完成了整套模型研发,包括Tokenizer、预训练、中期训练、监督微调、强化学习。
Flint不仅具备较强的编程能力,而且针对本地设备进行了优化。比同类模型最高快 2 倍,在MacBook Pro上,生成速度超过每秒125 Token;在NVIDIA RTX Spark设备上,则超过每秒150 Token。
![]()
01
不只是写代码,Flint
还能在笔记本上自主科研
模型发布后,Recursive研究员Cong Lu还展示了一个更有意思的方向:让Flint在本地完成一整套自动科研流程。
研究者只需要提供任务和可衡量的评价指标,Flint就能够提出思路、编写代码、运行实验,再根据反馈不断改进方案。
在圆形填充问题中,Flint需要在正方形区域内安排圆的位置与大小,尽可能优化布局。即使没有视觉输入,它也能通过代码调整圆的位置和半径,尝试不同初始化方案,并根据得分继续优化。
![]()
在工厂调度任务中,Flint尝试重新排列作业执行顺序,减少机器等待时间。最终,相比轮询调度(Round-robin)基线,任务整体完成时间提前了26%。
第三项实验则是共享单车需求预测。
研究者使用公开的UCI Bike Sharing数据集,让Flint根据天气、日期等信息预测租车需求。
Flint探索了结合对数与二次时间特征、残差树模型的方法,使验证集RMSLE降低30.8%,留出测试集RMSLE降低9.1%。
![]()
之前想做自动科研一般都需要调用大型闭源模型,但现在Flint已经能够在笔记本电脑上完成提出假设、编写程序、验证结果和迭代改进的流程。
02
Machine参与模型研发,
Recursive迈出RSI新一步
Flint的另一层意义,在于它本身就是AI自动科研系统的研究成果。
Recursive的AI自动科研系统Eureka Machine深入参与了Flint的研发过程,覆盖模型架构探索、训练数据与优化方法、模型量化以及底层推理加速等多个环节。
系统从35B总参数、3B激活参数的基线出发,探索不同专家配置,最终找到40B总参数、2.5B激活参数的方案。
![]()
在量化阶段,系统还探索了将输出层压缩至4-bit,并通过额外蒸馏恢复模型精度的方法。
![]()
底层推理方面,Eureka Machine则针对Apple Silicon和NVIDIA硬件生成专用计算内核,进一步提高运行效率。
![]()
这也与Recursive长期探索的递归自我改进(RSI)方向相呼应,让AI参与改进AI研发过程,再借助更强的模型提升下一轮自动科研能力。
当然,Flint并不意味着AI已经实现完全自主的递归自我改进,当前成果仍是人类研究员与AI系统协作完成的模型研发实践。
但从自动科研系统参与模型训练,到Flint能够在本地自主探索算法问题,Recursive已经开始展示AI研发AI的不同环节。
关注+星标,获取AI前沿进展与开源一线动态
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.