河南
快科技9月5日消息，英伟达开发者论坛用户ciprianveg近日公布了一项本地AI算力测试，通过将16台英伟达DGX Spark组成运算集群，成功运行了完整的Kimi-K3大模型，测试结果表明，该系统在16000深度下的最高生成速度可达38 t/s。
英伟达DGX Spark原本是面向本地AI开发和推理的桌面设备，随着Qwen、DeepSeek等模型的普及，单台设备的计算和显存资源往往难以满足千亿参数模型的需求。
该项目通过直接增加计算节点的方式，将应用场景从单机测试扩展到了多机并行。
为了满足16台设备协同工作时庞大的数据吞吐需求，该项目在网络互联上进行了专门配置，系统通过一台MikroTik CRS804-4DDQ核心交换机进行网络调度，并搭配4根400G转4×100G的高速分支线缆，将所有GB10节点串联。
系统运行基于Inferact/Kimi-K3-DSpark环境，以分布式方式首次启动了该模型。
具体的基准测试成绩上，集群在4000深度下，预填充（即模型处理输入提示词的准备阶段）吞吐量为654.89 t/s，首次响应时间约8.3秒，生成速度为21.71 t/s。
当上下文深度增加至16000时，预填充吞吐量提升至758.78 t/s，首次响应等待时间延长至约21.5秒，但生成速度反而提升至25.39 t/s，峰值达到38.00 t/s。
该发帖人还表示，这仅是未经过充分调优的首次测试成绩，后续他计划继续优化整体性能，并将在近期把运行镜像和使用说明上传至代码托管平台GitHub。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
