上海
分享至
品玩10月16日讯，AI公司PrismML官方近日宣布扩展Bonsai 2系列，推出基于Qwen3.5的三款三元权重模型：Ternary Bonsai 2 2B、4B和9B，与已发布的27B版本共同覆盖从轻量到复杂任务的端侧部署需求。
该系列采用三元权重表示法，以{-1, 0, +1}编码参数，存储占用分别约为0.43GB、0.95GB和2GB，较全精度版本缩小9倍以上。官方称模型在推理、视觉理解、工具调用和指令遵循方面均有提升，其中9B模型在标准指令和日常数学任务中可减少约40%的token消耗。
性能方面，在RTX 4090和M5 Pro等硬件上，新模型吞吐量最高可达全精度版本的5倍，能效提升3倍；在iPhone 18 Pro Max上，9B模型最高可达每秒34个词元，2B模型最高可达每秒120个词元。
模型权重以Apache 2.0许可证开放，支持通过llama.cpp在NVIDIA GPU上运行，或通过MLX在Mac、iPhone和iPad上部署。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
