喜报!交叉智能超算中心位列国内算力排行榜第4名

11月10日,第5届中国超级算力大会(ChinaSC 2023)在北京召开。本届大会由中国智能计算产业联盟与ACM中国高性能计算专家委员会共同主办,就算力经济时代新型算力设施、算力服务、算力网络等话题进行深入探讨,共同探索大模型涌现时刻算力产业的演进发展。

大模型在全球的风靡,离不开大算力的支撑。如何评测不同智能计算系统的大模型训练能力?为此,大会基于AIPerf-LLM(面向大模型的大规模人工智能算力基准测试程序)发布了以“大模型训练能力”作为区分的算力排行榜,北京师范大学(珠海)交叉智能超算中心提交的智能计算系统位列AIPerf-LLM 第4名。



获奖证书


交叉智能超算中心的沈平老师上台领取获奖证书

根据北京师范大学双一流建设的总体规划和一体两翼战略部署,结合珠海校区学科发展需求,学校于20219月成立了北京师范大学珠海校区交叉智能超算中心校级平台,依托人工智能与未来网络研究院建设。

交叉智能超算中心的AI基础设施服务平台由20台英伟达DGX A800 GPU服务器按标准DGX SuperPOD组织优化软硬件环境,为人工智能大模型的开发和训练提供高速并行算力环境;大规模液冷智能计算平台由200台CPU服务器节点、80台大内存胖节点和25台A800八卡GPU服务器节点组成,为各学科科学计算提供了AI for Science的软硬件支撑。

区别于单纯提供算力服务的其它平台,交叉智能超算中心不仅直接提供高效的计算服务,还尝试协助/提供各科研机构对人工智能算法、模型等多方面的科研需求,提供计算和Al算法相结合的一站式深度服务,达到最大化的计算效率和更快速的模型训练

短短两年,交叉智能超算中心团队在贾维嘉教授和沈平老师的带领下,不负众望,按照科学规划、合理布局、功能完善、共享开放、安全可靠的要求来建设,为提高学校的教学科研水平和综合竞争实力以及在多学科交叉与合作、交叉学科人才培养方面提供良好的保障

北京师范大学作为一所以教师教育、教育科学和文理基础学科为主要特色的著名学府,此次获奖也反映了学校积极提前布局新兴研究领域和方向,在探索新工科建设方面勇于走在国内前列。


相关背景介绍:


近年来,随着人工智能在自然语言处理、计算机视觉等领域上的快速发展以及在大规模算力上的普及,公众需要一个简单有效的指标来帮助判断系统的人工智能算力和整个高性能人工智能领域的发展状况。同时,一个好的指标也可以引领一个领域的健康持续发展。然而,传统的高性能计算机评测方法和体系与当前人工智能需求的性能并不完全一致。目前,各大企业、高校和相关组织在人工智能性能基准测试领域已经有了很多探索,相继开发了各类基准评测程序,AIPerf是清华大学设计研制的人工智能算力基准测试程序


评测智能计算系统大模型训练能力,面对着要测试真实大模型负载、支持不同智能处理器、适应不同系统规模等挑战。AIPerf-LLM基于Llama-S 可变规模大模型设计,提出“一个参数、多种大小”理念,对给定初始模型和数据集进行若干步预训练,并与参考实现的Loss曲线对比来验证其有效性。在量化评估训练性能方面,该测试程序将不同精度的浮点运算均视为一次AIOp,测试得分即训练模型的AIOp数量与训练时长之比,单位为AIOps。同时,同时,AIPerf-LLM还通过多种并行计算组合策略和多样化的优化算法进行性能调优。