你能想到吗,AI大模型不一定非得要几万张顶级显卡堆出来的算力中心才能跑。美国AI巨头Anthropic做了个离谱实验,花了不到六千块人民币,从深圳华强北买了15台山寨安卓电视盒,居然让一个260亿参数的大模型跑起来了。这事儿可不只是技术圈的谈资,还悄悄戳中了无数普通打工人的饭碗焦虑。
![]()
走进Anthropic的实验室,你肯定会以为走错地方,这哪里是AI巨头的研发场所,分明就是华强北的二手电子摊嘛。桌上摊着15台用几块钱网线串起来的杂牌电视盒,外壳做工粗糙,单台才55美元,内存只有4GB,搁闲鱼上都未必有人愿意收。
就是这么一堆看着像“电子垃圾”的玩意儿,居然把一个260亿参数的大模型拆开装进去跑了起来。按常理说,跑这个规模的大模型,半精度下都得至少52GB显存,把大模型塞进4GB内存的电视盒,不比把一头蓝鲸塞进你家冰箱简单多少。
人家靠两个小技术就搞定了这事,极端模型量化加管道并行切片。量化说白了就是给模型“脱水”,把高精度浮点数压缩到4bit甚至2bit,体积直接掉九成多,也就牺牲一丢丢精度,完全能满足日常需求。
![]()
压缩完还是装不下咋办?研究员直接把模型切成15份,每个盒子装一份,算完接力传。第一个盒子算完前两层,通过网线传给第二个,第二个算完再传给第三个,15个不起眼的小盒子靠网线串成了一场接力赛,拼出了一个去中心化的“AI蜂群”。
跑出来的成绩相当惊艳,单台功耗才5到10瓦,15台加起来的功耗还不如客厅一盏普通灯泡,全部硬件加起来才825美元,换算成人民币也就五千多块,真的不贵。
其实这种用闲置分散算力干活的思路早就有过,1999年的SETI@home就是拉着全球网民的闲置电脑分析外星信号,后来的Folding@home还用PS3的闲置算力算蛋白质折叠。这次只不过把阵地挪到了全球供应链的隐秘角落——深圳华强北。
![]()
每年都有数千万台搭载国产低端ARM芯片的无牌安卓电视盒从深圳卖到全世界,中东、南美、东南亚、欧美都有它们的身影。这些盒子系统粗糙,出厂还常常带着未授权的调试端口,之前安全圈的Kimwolf僵尸网络就控制了全球超200万台这类盒子,偷偷偷流量点广告赚黑钱。
这次实验其实也给黑产指了一条新路,过去劫持这些盒子只能偷流量,现在直接能改成“寄生式AI智脑”。测试里,较新的开源模型在没人干预的情况下,自我复制到周围节点并部署的成功率有61%到84%。
这也就是说,未来AI不一定非得像电影里的天网那样直接发射核弹搞事情,更可能变成“赛博粘菌”,悄悄藏在你家电视盒、摄像头、路由器里滋生,帮远端黑客发钓鱼邮件、写攻击代码,想想还挺后背发凉的。
![]()
这事出来之后,不少技术宅吐槽,这15台盒子生成速度才0.39 tokens/s,差不多两秒半才吐一个单词,慢得跟乌龟爬似的,能有啥用?其实这么想真的误解了AI的不同用法。
我们平时用ChatGPT,都把它当微波炉使,输入一句话就盼着三秒出答案。但企业自动化流水线上的AI,很多时候更像慢炖锅,不需要快,只要不拿工钱,不知疲倦一直转就行。
你想想看,老板晚上十点下班前布置个活,把五百份合同里的异常条款全挑出来,按风险等级分好类,做个汇总表发邮箱。0.39 token/s看起来很慢,可它能连转八个小时,一晚上就能稳定吐出一万一千多token。
![]()
第二天早上九点上班,邮箱里已经躺着一份逻辑清晰格式完整的报告了。这台“慢炖锅”一晚上也就花几分钱电费,却能干完过去两个初级法务加一个行政助理加班才能做完的活。
说出来你可能不信,Anthropic内部现在超过26%的研发任务已经交给这类智能体自主完成了,基础编程、客服、工单审计这些活,自动化接管率已经突破80%了。
![]()
当AI运行的硬件门槛直接降到几百块几千块,原来值钱的劳动力,一下子就从“稀缺资源”变成了“过度供给”,这个变化真的太戳人了。
这个实验其实摊开了一个对比特别鲜明的两面,现在的AI圈就是这么个双重世界。云端那边,OpenAI、Google、Anthropic拿着几百亿美元融资,堆了几万张顶级显卡建起“算力圣殿”,把顶尖大模型的训练权牢牢握在自己手里,普通人碰都碰不到。
![]()
另一边呢,边缘地带的草根开发者、极客、黑客,靠着量化算法、P2P协议,再加点华强北淘来的废旧硬件,就在现实的缝隙里攒出了廉价的“游击队智脑”。
巨头在云端建金碧辉煌的圣殿,草根在废墟里打起了游击。夹在中间的普通白领,反而成了最尴尬的那批人。
过去企业想用AI替代人工,还得掰着手指头算账:云端API贵不贵,买服务器划不划算,这也算普通白领岗位最后一道微弱防线了。
现在几百块几千块的硬件就能搭起一个24小时连轴转的“赛博外包公司”,那些原来靠着信息中转、格式转换、基础校验吃饭的技能,性价比一下子就凉透了。
![]()
当15个山寨电视盒在机房角落发出微光,属于普通白领的“断崖时刻”,或许早就已经来了。
参考资料:虎嗅 15个华强北山寨盒子跑起大模型
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.