天天快看:第十届ASC超算总决赛:挑战179亿参数大模型训练
2023-05-11 13:19:37 来源: 光明网
【资料图】
5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大学分获冠亚军,中国科学技术大学获e Prize计算挑战奖,浙江大学获最高计算性能奖。
正式决赛的首日,24支队伍向AI语言大模型、超级团队赛和HPL&HPCG基准测试三道赛题展开比拼。
据悉,本届比赛e Prize计算挑战奖的指定赛题是AI语言大模型。ASC组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集分别实现15亿、179亿参数的2个AI语言大模型。参赛队需要自行设计模型训练策略并完成模型训练过程,在追求极致性能的同时,还要满足精度约束等严苛条件,使得这道赛题极具挑战性。
南方科技大学代表队表示,“前期我们研究了很多大模型相关论文,学习如何进行并行优化、主流分布式训练框架等。但是拿到这个赛题时还是非常惊讶,179亿参数的模型真的很大,对显存、GPU等资源及并行计算优化的要求远远超出我们的预期。”
据介绍,本届超级团队赛由24支队伍通过抽签组成4个超级团队,每个超级团队需包含一支线上参赛队伍,以跨团队合作的形式共同完成决赛首日公布的量子线路采样模拟的赛题。
随机量子线路的采样问题因为其巨大的经典模拟复杂度被认为是展示量子计算优越性的最佳候选者。2019年谷歌量子人工智能团队发表基于悬铃木量子芯片的随机量子线路采样实验,宣称其经典模拟时间需要花费超算一万年,而量子实验仅需200秒,因此展示了量子优越性。
本届比赛的赛题是通过一个基于张量网络的算法来模拟53比特12循环的悬铃木量子线路,并计算谷歌实验中采样出来的1024个末态比特串样本的严格振幅以及这些样本的随机交叉上熵保真度。相较于传统的模拟算法,基于张量网络的量子线路模拟方法能够大大加速模拟的过程,将谷歌宣称的一万年模拟时间缩短到数十秒,达成超过10亿倍的性能提升。量子线路的高效经典模拟方法能够帮助人们对量子计算优越性有一个更为清晰的认知,与此同时也能助力量子硬件以及量子实验的设计、测试以及验证。
在HPL计算基准性能测试中,浙江大学以每秒109万亿次浮点运算性能的佳绩名列榜首。他们设计搭建了“1机8卡”异构加速系统,在3000W总功耗约束下,将更多功耗分配给GPU进行应用运算,并结合精细的控制优化,实现整体系统109万亿次/秒的HPL持续浮点运算性能。
ASC超算竞赛采用国际最通用的超级计算机浮点性能基准测试程序HPL,这也是全球超算TOP500排行的主要依据。ASC竞赛规则要求各参赛队伍自行设计超算系统,在总功耗3000W约束下正确完成包括HPL计算性能基准测试在内的各项计算任务。
ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第10届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。(柯岩)
标签:
为您推荐
精彩放送
热门文章
-
医疗IT长线可期|行业发现-天天快资讯
-
科技成长猎手王浩掌舵 银华清洁能源产业混合5月11日起发行 世界视讯
-
中国银行间市场交易商协会对郑州银行通报批评 责令其整改
-
车企年报:上汽不及比亚迪赚钱,“抱华为大腿”却继续亏 环球信息
-
迎驾贡酒突破50亿背后的“隐忧”-视讯
-
当前焦点!透过众邦银行2022年年报,下行之势止住了吗?
-
【新视野】红花绽放,见证美好:国民酱酒红花郎,成为五一期间喜宴首选
-
中邮保险2023年一季度保费收入同比提升37.30%,业务品质持续提升 全球焦点
-
扫地机器人市场遭遇发展瓶颈,科沃斯和石头科技开始内卷起来
-
2023,核电新周期|行业发现
-
从挑战者到引领者,迈瑞医疗智能化新征程_最资讯
-
全球快讯:从ESG视角,看微众银行的可持续发展
精彩图片
热文
-
美国得州不断放松枪支管控 死于枪支暴力人数创30年新高 微速讯
-
一季度四川省规上文化企业实现营收1156.1亿元|当前快报
-
嫦娥五号月壤中首次发现天然玻璃纤维
-
当前要闻:海地陷入“无休止的暴力循环”,今年头三个月至少846人被杀
-
鲜市科技共享WiFi受用户欢迎,体验网络时代的无所不能
-
网络段子手拿下票房冠军,小鲜肉打败顶流大制作,内娱终于变天?
-
要闻:全球首个基于真实道路场景的时序车路协同数据集在京发布
-
世界关注:融资洞察 | 这家AI语音芯片商,融资七轮,被投数千万
-
天天快消息!兰州新区全面优化营商环境 制定出台230条攻坚举措
-
【甘快看】一季度地区生产总值同比增长6.7%,甘肃工业经济提质增效
-
当前简讯:甘肃举行庆祝“5·12国际护士节”活动
-
甘肃省开展安全生产大排查大整改专项行动|天天播资讯
-
【地评线】飞天网评:立体推进,让中小企业“链”出新天地 世界今日报
-
乘舟向天宫 载梦又起航_世界热门
-
天舟六号货运飞船发射任务取得圆满成功
-
dnf黑刀暗月设计图_dnf黑刀暗月哪里爆
-
香港大学经管学院“ESG赋能与可持续发展论坛” 在深成功举办
-
济州岛 免税_济州岛免税店官网
-
全球信息:加速回暖!4月乘用车市场零售达163万辆,新能源渗透率超30%
-
强强联手!国联水产加入盒马预制菜生态联盟!
-
永不言输!他跨行养猪几经波折,发展至2000余头母猪规模(上)|播资讯
-
简讯:5月11日猪价 | 震荡减小,局部小幅上调!
-
当前资讯!节后猪肉维持低位运行 本轮猪周期上行期显著缩短
-
当前信息:最新!14家上市猪企4月份销售情况报表出炉
-
【环球聚看点】一季度末随时可用资金超60亿元,养猪综合成本降至8.5元/斤,温氏2023年目标销售肉猪2600万头
-
今日播报!美国小学生带上膛枪上学 密歇根州学区急禁背包:枪支暴力太泛滥
-
美检方:底特律加油站因4美元纠纷引发致命枪击事件 致一死两伤
-
天津空港经济区技能人才 培养创新试验区揭牌_世界新视野
-
环球关注:印尼喀拉喀托火山喷发 火山灰柱高达3千米
-
【环球播资讯】甘肃瓜州:下功夫调查研究 出实招助企纾困
-
拜登:如果美国债务违约,全世界都会陷入麻烦之中_全球看热讯
-
粤港澳大湾区青年创业科技园加速建设_观天下
-
墨西哥西北部发生5.2级地震 目前暂无人员伤亡和财产损失报告
-
济南高新区“高新优品”扩容 沿黄河流域12家高新区加入
-
每日资讯:天津高新区有了智慧办税新模式
-
广州即刻种牙-免费种牙加公益补贴,广东省爱牙程成缺牙群众首选
-
全球速读:三孚新科: 公司4月份与智动力终止《设备买卖合同》及其补充协议系双方基于量产设备交付情况协商的结果
-
工程机械行业点评:前4月挖机出口累计销量占比近50% 工程机械需求将逐步修复 环球要闻
-
刘小涛会见慧与公司全球副总裁马克·科拉鲁卡一行 携手推动数字经济创新提质
-
热资讯!【国际漫评】这下安全了!
-
环球新动态:镜观世界丨美丽的中亚
-
一幅幅犀利漫画,解不开美国枪支暴力死结 天天快看
-
惊心动魄!中国同胞讲述从苏丹撤离回国经历
-
商务部:一季度我国服务贸易继续保持增长态势
-
【全球热闻】第三十一届中国国际自行车展览会落幕
-
前沿资讯!第二轮第四批中央生态环保督察整改情况公布
-
【报资讯】改善营商环境 激发市场活力
-
凡尔赛C5 X 2023款出品 | “以人为本”的安全测试 每日速看
-
全球热议:番荔枝科植物有哪些_吃荔枝有哪些好处
-
世界热门:智能早报|抖音要求对AI生成内容进行显著标识;保时捷加快合肥自动驾驶产业发展