云端AI推理卡“云燧i20”发布

来源： 光明网

12月7日，燧原科技发布针对云端推理场景的AI加速产品——第二代云端人工智能推理加速卡“云燧i20”。

据介绍，作为全新一代云端AI推理加速产品，云燧i20拥有高达819 GB/s的AI加速卡存储带宽,为目前业内最大存储带宽,远超行业同类产品水平;同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。

燧原科技CEO赵立东表示,“当前,我国芯片产业正处于激烈的成长与蜕变时代,燧原科技以‘做大芯片,拼硬科技’为时代使命,基于原始创新的软硬件架构,正在不断加速技术创新与产品迭代。性能赶超业内旗舰GPU的云燧i20正是关键成果之一。”

算力的提升并非单纯依靠硬件的升级,而是通过软件手段,使得现有条件下硬件的利用率和效率被显著提高。燧原科技通过引入通用高层图优化和大规模算子融合技术,充分释放了大容量片内存储和高带宽存储的利用率,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍。

应用技术的提高,往往带来成本优势。通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低;此外,燧原科技的“驭算”软件栈增强了对动态性的支持,使云燧i20在检测、语音识别、语义理解等场景更具竞争力。

“云燧i20的发布标志着燧原科技在云端AI算力加速领域,从训练到推理的完整产品线已全面迭代到第二代,能够以更有竞争力的产品,为客户提供更优的AI计算方案。”燧原科技CEO赵立东表示。

目前，以语音识别、图片识别、视频内容分析为主的感知类应用,内容推荐和欺诈交易拦截等决策类应用在云端大部分都是以实时在线的方式提供服务;同时神经网络的参数越来越多,数据带宽需求也越来越高,兼顾高带宽和低延迟变得至关重要。云燧i20创新性地采用了高带宽HBM2E存储,实现了高达819GB/s的超大带宽,为各类云端推理业务提供高吞吐、低延时的性能,保障其准确、平稳、高效的运行。

之江实验室发展合作部副部长吴丽娟表示，“之江实验室今年3月与燧原科技成立联合研究中心,围绕人工智能应用场景,共同开发具有标杆性的技术解决方案,构建开源开放的创新生态系统。目前,燧原科技的第一代人工智能训练产品‘云燧T11’正在之江实验室搭建千卡高性能计算的液冷集群,打造符合国家碳中和政策导向的低碳绿色数据中心。未来,我们还会在智能计算的更多领域合作研发。”

浪潮信息副总裁刘军表示，“燧原科技是国产人工智能计算芯片的领军企业,浪潮信息与燧原科技通过元脑生态联合创新,在AI整机系统、AI算力优化、场景方案落地等多方面深入合作。此次随着云燧i20的发布,标志着燧原从训练到推理全面进入2.0时代,这也是国产AI算力发展的里程碑。我们期待和燧原一起紧密合作,共同推进中国人工智能产业的快速发展。”

标签： 芯片

为您推荐

精彩放送

精彩图片

热文