北京
AI正在为HPC（高性能计算）中心创造一系列新的需求。科学研究人员不再仅仅关注训练模型，许多科学家现在需要推理服务和AI 智能体（agents），以便将其作为日常研究的一部分来使用。
对于HPC中心而言，这意味着需要弄清楚如何大规模提供这些服务，并使其与现有的HPC基础设施协同运行。这些问题是TPC26分会场"迈向科学AI平台：HPC设施中的推理、智能体与AI服务"的核心议题。讨论汇集了来自国家实验室、超算中心、产业界和研究机构的演讲者，分享他们如何为研究人员构建和运营AI服务。
参与者包括：圣地亚哥超级计算机中心首席数据科学官兼国家数据平台首席研究员 İlkay Altıntaş博士；阿贡领导计算设施AI负责人Venkat Vishwanath博士；日本产业技术综合研究所（AIST）的Jason Haga博士；HPE的Samantha Sury；匹兹堡超级计算中心的Paola Buitrago博士和Shoaja Fan博士；以及德克萨斯高级计算中心（TACC）执行主任Dan Stanzione博士。
İlkay Altıntaş博士在TPC26上介绍AI推理服务与国家研究平台，以国家研究平台的概述开启了讨论，该平台通过共享服务为研究人员提供AI模型访问。"我们必须将其视为三个不同层次，" Altıntaş说。"这里确实有一个基础设施层——计算、存储及相关的所有内容。这有点像HPC服务，但我们不再以核心小时数来衡量，而是以token（词元）来衡量。"国家研究平台目前提供九个开源模型，旨在让研究人员无需自行部署和管理基础设施即可使用AI能力。这一话题在整场会议中反复出现，演讲者们讨论了HPC中心如何适应日益增长的推理服务和AI工具需求。
构建这些服务还需要专门为推理设计的基础设施。这正是Haga博士演讲的重点，他概述了日本通过国家测试床计划评估一系列AI加速器和推理技术的努力。"我们试图做的是评估多样化、前沿的AI加速器，并开发技术以实现高性能推理服务，以及实际访问这些不同计算资源的方式，"Haga说。
对研究人员而言，硬件本身往往是次要的。重要的是服务是否可用、性能是否良好，以及能否集成到他们的工作中，而无需他们成为底层基础设施的专家。该项目旨在帮助研究人员在不同的AI硬件平台上进行实验，同时也为部署推理服务提供框架。这项工作正在探索更广泛的加速器组合如何支撑未来的科学AI工作负载。演讲突出强调了HPC设施面临的一个挑战：研究人员可能并不关心底层运行的是什么硬件，但他们越来越期望AI服务在需要时随时可用。
Jason Haga在TPC26上讨论AI推理基础设施与加速器研究。虽然讨论的大部分内容集中在基础设施和技术上，但Stanzione博士认为，经济学最终可能成为更大的挑战。"我认为对我们来说，棘手的问题将是——token是要花钱的，"Stanzione说。"当人们大量消耗token时，我们看到很多实验室在过去几个月里谈论被放弃的使用量。"随着AI服务日益普及，使用量正在快速上升。这与传统HPC工作负载产生了一套不同的压力。尤其是当机构试图在有限预算与不断增长的需求之间取得平衡时，情况更是如此。据Stanzione称，长期挑战可能不在于构建推理平台，而在于找到可持续的运营方式。"我确实认为，在众多技术问题中，财务方面最终可能比其他任何因素更能驱动我们的行动，"他说。
讨论展示了HPC设施如何适应AI采用的下一阶段。尽管业界的大部分注意力仍集中在大模型和硬件上，演讲者们却反复回到将AI作为服务交付的实际且不可避免的现实问题。从共享推理平台和加速器测试床，到token消耗的经济学，本次演讲中讨论的挑战表明，科学AI的未来可能既取决于运营和基础设施，也同样取决于模型本身的进步。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
