当前位置: X-MOL 学术arXiv.cs.AR › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
领先:对硬件高效的AI部署进行基准测试和探索加速器
arXiv - CS - Hardware Architecture Pub Date : 2021-04-06 , DOI: arxiv-2104.02251
Xiaofan Zhang, Hanchen Ye, Deming Chen

已开发了定制的硬件加速器,以为DNN推理和训练提供改进的性能和效率。但是,现有的硬件加速器可能并不总是适合于处理各种DNN模型,因为它们的体系结构范例和配置折衷是高度特定于应用程序的。重要的是,尽早对加速器候选程序进行基准测试,以收集全面的性能指标并找出潜在的瓶颈。基准测试后还出现了更多需求,这需要适当的解决方案来解决瓶颈并改进针对目标工作负载的当前设计。为了实现这些目标,在本文中,我们利用称为DNNExplorer的自动化工具来对定制的DNN硬件加速器进行基准测试,并探索性能和效率得到提高的新颖加速器设计。主要功能包括:(1)直接支持流行的机器学习框架以进行DNN工作负载分析,并提供精确的分析模型以进行快速加速器基准测试;(2)一种新颖的加速器设计范例,具有高维设计空间支持和细粒度的可调整性,以克服现有的设计缺陷;(3)设计空间探索(DSE)引擎,通过考虑目标AI工作负载和可用硬件资源来生成优化的加速器。结果表明,与DNNBuilder中最先进的流水线设计相比,采用建议的新颖范例的加速器可以提供高达4.2倍的高吞吐量(GOP / s)。在相同的DNN模型和资源预算的情况下,0X比最近发布的HybridDNN通用设计提高了效率。借助DNNExplorer的基准测试和探索功能,我们可以领先于构建和优化定制的AI加速器,并实现更高效的AI应用程序。



"点击查看英文标题和摘要"

更新日期:2021-04-08
down
wechat
bug