江西
就在OpenAI “12天技术直播狂欢”的第二天，北京时间12月7日凌晨1点，Meta发布了最新开源模型Llama 3.3。Meta负责生成式AI的副总裁Ahmad Al-Dahle在X上表示，Llama 3.3采用了最新的后训练技术，参数规模仅700亿，但是性能可以与参数4050亿的Llama 3.1相媲美。
Al-Dahle在X上发布了一张图表，显示Llama 3.3 70B在多个行业基准测试中超越了谷歌的Gemini 1.5 Pro、OpenAI的GPT-4o和亚马逊新发布的Nova Pro。
Llama 3.3除了英语外还支持7种语言：法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。该模型还引入了包括更长的上下文窗口128k token（与GPT-4o相当，大约400页的文本）在内的几项增强功能，使其适合长形式内容生成和其他高级用例。架构整合了分组查询注意力（GQA），在推理期间提高了可扩展性和性能。
用简单的话来总结，Llama用百亿参数规模达到了千亿参数的性能，同时必然带来了成本的大幅降低。
成本能节省多少？
在GPU内存需求方面，根据Substratus博客的数据，Llama 3.1-405B需要243 GB到1944 GB的GPU内存，而Llama 2-70B则需要42-168GB的GPU内存。
有媒体报道称，某些情况下，低参数模型的GPU内存需求甚至可以低至4GB。这意味着，如果部署Llama 3.3，用户可以预期节省高达1940GB的内存，对于标准的80GB Nvidia H100 GPU来说，GPU负载可能降低24倍。以每块H100 GPU约25,000美元的价格计算，这可能意味着高达600,000美元的前期GPU成本节省，这还不包括持续的电力成本节省。
现在，Llama 3.3已经可以通过Meta、Hugging Face、GitHub等平台下载，开源许可证为Llama 3.3社区许可证，这是一项非独家、免版税的协议，允许用户合法使用、复制、分发和修改Llama 3.3模型及其输出，支持模型输出的再利用，如合成数据生成和模型蒸馏，但是对于月活跃用户超过7亿的大型组织，需要从Meta获得商业许可，而不是使用社区许可证。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
