科技之芯｜AIIA DNN benchmark正式发布v0.5首轮云侧试评估结果

在这个“无产业不AI,无应用不AI,无芯片不AI”的时代,AI芯片作为人工智能时代的技术核心之一,决定了平台的基础架构和发展生态,在全球具有深不可测的市场规模。但是,目前国内外都面临一个共同的难题——缺乏统一的芯片评测标准。因此,打破AI芯片测评领域混乱无序的阻碍,对整个人工智能产业的发展而言至关重要。

11月1-2日,由中国人工智能产业发展联盟、杭州市人民政府主办的“AIIA2019人工智能开发者大会(AIDC)暨第四届中国(杭州)人工智能产业发展论坛”在杭州召开。借此业内学术泰斗齐聚,百家名企同堂的难逢之机,中国人工智能产业发展联盟总体组组长孙明俊在主报告会上重磅发布AIIA DNN benchmark v0.5 云侧推断任务基准测试首轮试评估结果,引起巨大反响。

AIIA DNN benchmark项目是由中国人工智能产业发展联盟联合20余家企业、高校及科研机构深入研发,倾情推出的AI芯片测评认证工具,旨在提供专业评估评测服务,助力AI芯片行业快速爆发,引领人工智能行业飞跃发展。

中国人工智能产业发展联盟总体组组长孙明俊

中国人工智能产业发展联盟总体组组长孙明俊解读道:“目前,我们已经制定两套评估规范,完成两轮共7款端侧评估,v0.5云侧评估评测工作于今年7月启动,经过4个月的努力,完成了首轮的试评估工作。”这意味着AIIA DNN benchmark的端+云全方位基准测试方案已经形成,相应网站也已全新上线(www.aiiaorg.cn/benchmark),将为人工智能行业带来一番风云变化。

下面,带你解读, AIIA DNN benchmark v0.5 云侧推断任务首轮试评估工作。报告全文(此处附超链接:https://mp.weixin.qq.com/s/36nYEUzrPbnx2UWWL26eQg)

亮点一:多角度全面助力评测行业发展

在深度学习模型的发展史中,残差网络因其简单而有效的结构与异常有效的结果占据了非常重要的位置。随着网络结构或模型的快速迭代,以及芯片工艺的不断更新,ResNet50这个业界的黄金标杆是否还能真正反映芯片能力?

AIIA DNN benchmark以更加贴近真实应用场景的测评方式,打破了基准测试单网络单指标刷榜的模式,可提供7种场景13种网络测试,其所有指标旨在提供准确的比对维度,如实反映当前提升深度学习处理能力的AI加速器的现状。

亮点二:五大维度衡量芯片性能

中国人工智能产业发展联盟根据实际部署中所考虑的指标,经过前期向20余家企业、科研机构的相关专家进行意见征集及展开专业讨论,最终确定AIIA DNN benchmark v0.5版本云侧推断任务从以下五个维度出发,衡量云侧加速卡整体性能,可客观反映当前行业现状。

延迟: 作为推断任务的重要指标,能够直观反映芯片处理任务的速度。

精度损失: 在部署深度学习任务过程中,各家加速卡都有自己的推理框架以用于模型的转换和部署,其显示的精度损失可用于反映测试数据集推断所达到的处理效果。

吞吐量: 在实际深度学习推理任务部署中,多batch的处理能力尤为重要。

功耗: 芯片的晶体管数量和芯片面积决定了算力,面积越大,算力越强,但功耗也将随之增加,可作为推断芯片性能的指标之一。

能效比(每瓦算力): 算力与能耗往往相互制约,该方案可测算AI芯片能耗比,反馈给企业及时改良,助其进一步实现高性能与低功耗、低延迟、低成本之间的平衡。

亮点三:“芯”能力榜单助力企业宣传

在缺乏评估标准的情况下,芯片企业无法清晰确认自己的技术优势及目标市场。同时,由于场景与部署位置的差异性,很难用单一指标与网络展现芯片性能,导致市场也对芯片企业的真正实力难以判断。

AIIA DNN benchmark推出多维度评测方式为芯片企业提供第三方评测结果,能从不同角度呈现不同芯片的各自优势所在,切实反映芯片能力。该项目还提供了单项与总分榜,支持企业前来参与“打榜”,积极展示自身独特的“芯”能力,成功上榜的企业可在业内获得更加广泛的知名度和市场信任感。

亮点四:用户选型一目了然

人工智能在不同算法、不同场景下,对芯片提出了不同的要求,如硬件架构、延迟、带宽、能耗、神经网络模型、参数等都是用户方选择AI芯片的重要参考。

中国人工智能产业发展联盟作为专业的第三方,首次公布了典型AI芯片在处理深度学习任务时的参考指标——“算力/单价”比,为应用企业选型提供参考,以便用户能更经济地选取最适用于自己需求的AI芯片。

AIIA DNN benchmark,用纯粹的科研之心,让科技之“芯”更美好。该项目的发布,促进了芯片供给侧与需求侧的交流,让需求方的意见能够更快传达到芯片企业,让企业进行有针对性的改良。同时,AIIA DNN benchmark坚持以“版本迭代、不断丰富、不断完善”的工作方式持续更新项目,计划下一步启动第二轮评估工作,迭代AIIA DNN benchmark V1.0,积极推进企业“芯”能力榜单的评选,努力打造一个开放、共赢的人工智能产业生态,拓宽人工智能行业从业者的交流接口,推动中国AI芯片市场进一步发展与成熟,以傲人之姿屹立世界前沿科技之林。