《开放加速规范AI服务器设计指南》发布 应对生成式AI爆发算力挑战
2023-08-11 22:26:10 来源: 光明网
(资料图)
8月10日,在OCP China Day 2023上,《开放加速规范AI服务器设计指南》(以下简称《指南》)发布。《指南》面向生成式AI应用场景,进一步发展和完善了开放加速规范AI服务器的设计理论和设计方法,将助力社区成员高效开发符合开放加速规范的AI加速卡,并大幅缩短与AI服务器的适配周期,为用户提供最佳匹配应用场景的AI算力产品方案,把握生成式AI爆发带来的算力产业巨大机遇。
当前,生成式AI技术飞速发展,引领了新一轮AI创新浪潮。AI大模型是生成式AI的关键底座,对生产效率提升、传统产业转型升级具有重大的价值潜力,而大模型的高效训练通常需要具备千卡以上高算力AI芯片构成的AI服务器集群支撑。
随着生成式AI加速落地,业界对配置高算力AI芯片的AI服务器需求也不断高涨。在此背景下,全球已有上百家公司投入新型AI加速芯片的开发,AI计算芯片多元化趋势凸显。由于缺乏统一的业界规范,不同厂商的AI加速芯片存在显著差异,导致不同芯片需要定制化的系统硬件平台承载,带来更高的开发成本和更长的开发周期。
据悉,OCP是全球基础硬件技术领域覆盖面最广、最有影响力的开源组织。2019年OCP成立OAI(Open Accelerator Infrastructure)小组,对更适合超大规模深度学习训练的AI加速卡形态进行了定义,以解决多元AI加速卡形态和接口不统一的问题。2019年底,OCP正式发布了OAI-UBB(Universal Baseboard)1.0设计规范,并随后推出了基于OAI-UBB1.0规范的开放加速硬件平台,无需硬件修改即可支持不同厂商的OAM产品。近年来,以浪潮信息为代表的系统厂商研制了多款符合开放加速规范的AI服务器,实现了开放加速AI服务器的产业化实践。
基于在开放加速计算领域的产品研发和工程实践经验,《指南》进一步发展和完善了开放加速规范AI服务器的设计理论和设计方法,提出四大设计原则、全栈设计方法,包括硬件设计参考、管理接口规范和性能测试标准,旨在帮助社区成员更快更好地开发AI加速卡并适配开放加速AI服务器,应对生成式AI的算力挑战。
《指南》指出,开放加速规范AI服务器设计应遵循四大设计原则,即应用导向、多元开放、绿色高效、统筹设计。在此基础上,应采用多维协同设计、全面系统测试和性能测评调优的设计方法,以提高适配部署效率、系统稳定性、系统可用性。
多维协同设计是指系统厂商和芯片厂商在规划初期要做好全方位、多维度的协同,最大化减少定制开发内容。大模型计算系统通常是一体化高集成度算力集群,包含计算、存储、网络设备,软件、框架、模型组件,机柜、制冷、供电、液冷基础设施等。只有通过多维协同,才能实现全局最优的性能、能效或TCO指标,提高系统适配和集群部署效率。《指南》给出了从节点到集群的软硬全栈参考设计。
全面系统测试是指异构加速计算节点通常故障率高,需要更加全面、严苛的测试,才能最大程度降低系统生产、部署、运行过程中的故障风险,提高系统稳定性,减少断点对训练持续性的影响。《指南》对结构、散热、压力、稳定性、软件兼容性等方面的测试要点进行了全面梳理。
性能测评调优是指需要对大模型加速计算系统开展多层次的性能评测和软硬件深度调优。《指南》给出了基础性能、互连性能、模型性能测试的要点和指标,并指出了针对大模型训练和推理性能调优的要点,以确保开放加速规范AI服务器能够有效完成当前主流大模型的创新应用支撑。(战钊)
标签:
为您推荐
精彩放送
热门文章
精彩图片
热文
-
崇信:“四好农村路”铺筑振兴幸福道
-
西和:“小中蜂”酿出致富“蜜”
-
康县:九叶绞股蓝奏响“致富曲”
-
庄浪:升温“牛经济” 犇向“牛日子”
-
临泽:搬迁住新居 开启幸福新生活
-
督导“长牙齿” “双减”见实效
-
百融云创以AI之力 助力银行创新绿色金融业务高质量
-
今日A股医药生物板块净流入6.3亿元 昆仑万维净流入3.76亿元
-
新华制药:苯甲酸阿格列汀片获得《药品注册证书》
-
市场监管总局:加强和改进反垄断监管执法
-
影响猪生长的主要因素有哪些?一文看明白
-
规模养猪场如何把控“四大关口”?方法总结好了
-
养猪生产环节中 “三天”管理法则,你知道吗?
-
如何养好母猪?猪场后备培育舍管理中的7个关键环节
-
掉队仔猪如何追上正常仔猪?只需要3步!
-
印度泰米尔纳德邦发生一起交通事故 至少6人死亡
-
阿尔及利亚北部发生交通事故 致6死9伤
-
接到“爆破机场”恐吓电话 韩国各机场加大安检力度
-
美国一名24岁女子枪杀10岁男孩 遭警方通缉追捕
-
俄国防部称挫败乌无人机对莫斯科的袭击
-
苏州音乐喷泉在哪里看最好
-
南阳市西峡县五里桥镇稻田村:山水灵秀 稻禾青悠
-
工程机械行业点评报告:7月挖机出口下滑14%;工程机械期待内需改善、更新周期启动
-
作为人体最重要的器官之一 你了解你的“心”吗?
-
林晖(Kevin林):“我和中国石材的十七年”
-
鹿山新材:公司2022年度太阳能电池封装胶膜销售收入同比增长108.61%
-
皖维高新:聚乙烯醇、醋酸乙烯等主产品价格下降 上半年归母净利润3.47亿元 同比降64.24%
-
港股午评︱恒生科技指数跌1.87% 碧桂园跌超8% 华虹半导体跌超6%
-
如何提高哺乳母猪的泌乳力?母猪泌乳系统的构造特点及泌乳规律
-
怀孕母猪应该远离哪些药物?这8种一定要记住
-
提高母猪繁殖性能的营养措施有哪些?这些方法养猪人可以尝试!
-
饲用价值相对较高,影响饲料玉米饲用价值的因素有哪些?
-
涨跌拉锯!多地猪价小幅降温,偏稳居多
-
俄罗斯紧急情况部门:莫斯科伏努科沃机场关闭
-
美国夏威夷毛伊岛大火造成大范围断电 大批人员等待撤离
-
美国一公立学区遭网络攻击损失近600万美元 近半已追回
-
俄罗斯伏努科沃机场暂停航班起降
-
驻新西兰使馆发言人就新方发布《2023新西兰安全威胁环境》报告发表谈话
-
和美家政|家政行业大有可为
-
泰山风景区一游客翻越围栏并爬上拱北石,景区:如果找到该游客,会报警处理
-
彩礼返还官司中需要什么证据,法律上有哪些规定
-
西林钢铁(关于西林钢铁的基本详情介绍)
-
年轻人住进养老院,增加的不只是活力和人气
-
猪瘟、弓形体、链球菌易混合感染发生,如何治疗?
-
养猪好帮手!教你轻松辨别24种常见猪病
-
猪病治疗小妙招,不打针、不吃药,效果真的很好!
-
内含福利 | 满足中国胃的几道美食,是时候吃了!
-
印度男子不满妻子经常离家出走:伙同亲戚杀妻抛尸 被警方抓捕
-
微软或全面停止俄罗斯业务:不再接受俄银行账户付款
-
夏威夷山火致电力通讯中断,约1000人失联