一款换脸应用,从选图到出片,全程不联网。这不是什么实验室演示,FacePika 团队把这件事做成了能在中端安卓手机上跑的产品。
![]()
他们一开始就给自己定了一条硬约束:用户的照片和视频,永远不离开手机。市面上大多数换脸工具的做法是把素材传到远端服务器,模型在云端跑完再把结果送回来。这条路能走通,代价是隐私上的明显让步。FacePika 想验证的是另一条路——完全离线,不依赖背后的数据中心。
真正的难点不在跑模型
把开源模型部署到设备上,跑起来只是第一步。难的是让它快到、小到在普通手机上不显得难用。团队踩过的三个坑,基本覆盖了端侧机器学习的核心工程量。
- 起点是一个开源换脸模型,他们把它从 FP32 量化到 INT8,模型体积砍掉75%,画质没有可感知的损失。
- 推理交给 Android 的 NNAPI,卸载到设备的 GPU/NPU 上执行。单张照片的换脸处理时间,在一台 2024 年的中端手机上,从12 秒压到2 秒以内
- 人脸对齐比预想的麻烦。把面部关键点准备好再喂给模型,这一步占掉了总处理时间的30%。最后他们自己写了一个轻量关键点检测器,替换掉原来那个更重的库。
三项里最容易被低估的是第三项。模型量化、硬件加速都是常规操作,但预处理环节吃掉三成时间这件事,只有真正上手调过才知道。换掉一个重库,省下的是整条流水线上最不起眼却最实在的一段。
不上传,本身就是产品
这套方案最直接的好处是没有上传这一步。用户选一张照片,换脸全程在应用内完成,输出结果不经过任何远程服务器。对一个处理人脸的工具来说,这个隐私承诺不是事后补上的附加项,而是整件事的意义所在。
换个角度看,端侧推理在这里不只是技术选择,也是产品定位。云端方案拼的是算力和模型规模,端侧方案拼的是工程效率和体积控制,两条路的竞争维度根本不同。
团队表示还在继续打磨模型、增加更多模板支持,后续也会陆续写出更多关于移动端机器学习优化的内容。应用名为 FacePika,官网在 facepika.app。
对做端侧 ML 的人来说,这组数字值得记一下:量化省 75% 体积,NNAPI 把 12 秒变 2 秒,预处理占 30% 时间。三个数字,三种不同性质的优化空间。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.