北京
当整个行业都在比谁的参数更多、上下文更长、集群更大的时候，有一支团队把方向调了个头：他们没去调用现成的大模型，而是在自己的GPU环境里，从零预训练了一个10亿参数的基础模型。 结果有点反直觉——这个"小个子"不仅跑得动企业级业务，还提升了欺诈检测的准确率，减少了误报。 这件事值得拆开看。它回答了一个很多企业技术负责人正在纠结的问题：到底是继续堆规模，还是换一条路走？ **先预训练，再适配** 这支团队的做法分两步走。第一步是预训练：他们没有拿外部模型当起点，而是用专有的交易数据训练出一个基础模型。这个基础模型的价值在于，它把交易数据里的模式、关系、结构都学进了参数里，形成一个可以复用的底座。 第二步是适配：把这个底座调到欺诈检测这个具体任务上。他们没有去够那个最大的通用模型，而是专门为一个明确界定的业务目标做优化。 这两步的区别很关键。预训练产出的是一个能支撑多个下游应用的复用资产，适配则让模型为某个特定任务做专门化。在这个案例里，10亿参数的模型被证明既能撑起企业级规模，又足够高效，可以真正部署到生产环境。 **三条工程经验** 团队从这次实践里总结出三点，每一点都指向同一个方向。 第一，领域知识可以压过规模。一个为特定领域打造的模型，不需要什么都懂。用专有交易数据做预训练之后，模型会形成领域专属的表征，把行为模式、交易关系、风险信号、运营特征这些对任务最重要的东西抓出来。对很多企业场景来说，领域相关性比多出来的参数更值钱。 第二，小模型在运营上有实打实的优势。生产环境里，模型质量不是唯一指标。延迟、吞吐、基础设施成本、运维复杂度，这些同样重要。小模型通常服务更快、跑起来更便宜、扩展更容易。欺诈检测这个场景尤其吃这一点——决策往往要在交易处理的过程中就做出来，快和便宜直接换算成业务价值。 第三，预训练造出来的是一份可复用的资产。团队最兴奋的地方不是某一个欺诈用例。用专有交易数据预训练出基础模型之后，他们手里多了一个可以往其他应用上适配的底座。价值不限于欺诈检测，同一个底座能支撑多个下游任务，让预训练的投入摊到更广的业务问题上。 **规模不是唯一答案** 这次实践给出的更大启示是：AI的进步不只有"把模型越做越大"这一条路。 在很多企业环境里，更可能赢的策略是——在专有数据上预训练一个尺寸合适的基础模型，然后把它适配到高价值的业务问题上。 未来未必只关于把规模做大。很多情况下，它关于把规模做聪明。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
