当前位置：
X-MOL 学术
›
Concurr. Comput. Pract. Exp.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
卷积神经网络中一种新颖的结构化稀疏全连接层
Concurrency and Computation: Practice and Experience ( IF 1.5 ) Pub Date : 2021-01-31 , DOI: 10.1002/cpe.6213 Naoki Matsumura 1 , Yasuaki Ito 1 , Koji Nakano 1 , Akihiko Kasagi 2 , Tsuguchika Tabaru 2
Concurrency and Computation: Practice and Experience ( IF 1.5 ) Pub Date : 2021-01-31 , DOI: 10.1002/cpe.6213 Naoki Matsumura 1 , Yasuaki Ito 1 , Koji Nakano 1 , Akihiko Kasagi 2 , Tsuguchika Tabaru 2
Affiliation
卷积神经网络 (CNN) 是支持人工智能技术快速发展的因素之一。然而，随着网络能力的增加，网络的规模也变得更大。到目前为止，已经解决了与减少网络规模相关的几项工作。在许多情况下，这些方法会产生一个非结构化网络，从而阻碍有效的并行计算。为了避免这个问题，我们在 CNN 中提出了一种新颖的结构化稀疏全连接层 (FCL)。我们提出的方法的目的是减少 FCL 中占据大部分网络参数的网络参数的数量。与 VGG-16 等流行 CNN 中使用的一般 FCL 不同，所提出的方法减少了最后一个卷积层和第一个 FCL 之间的连接。此外，我们展示了使用 cuBLAS 在 GPU 上实现建议的稀疏 FCL。作为 ILSVRC-2012 数据集的结果，所提出的方法实现了 21.3 倍的压缩，VGG-16 的 top-1 精度降低了 0.68%，top-5 精度降低了 0.31%。与非压缩 FCL 相比，所提出的 FCL 的实现分别实现了前向和反向传播的加速因子 14.97 和 16.67。
"点击查看英文标题和摘要"
更新日期：2021-01-31
"点击查看英文标题和摘要"
京公网安备 11010802027423号