当前位置:
X-MOL 学术
›
arXiv.cs.AI
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning
arXiv - CS - Artificial Intelligence Pub Date : 2022-01-30 , DOI: arxiv-2201.12712 Yuzhang Shang, Bin Duan, Ziliang Zong, Liqiang Nie, Yan Yan
arXiv - CS - Artificial Intelligence Pub Date : 2022-01-30 , DOI: arxiv-2201.12712 Yuzhang Shang, Bin Duan, Ziliang Zong, Liqiang Nie, Yan Yan
With the remarkable success of deep learning recently, efficient network
compression algorithms are urgently demanded for releasing the potential
computational power of edge devices, such as smartphones or tablets. However,
optimal network pruning is a non-trivial task which mathematically is an
NP-hard problem. Previous researchers explain training a pruned network as
buying a lottery ticket. In this paper, we investigate the Magnitude-Based
Pruning (MBP) scheme and analyze it from a novel perspective through Fourier
analysis on the deep learning model to guide model designation. Besides
explaining the generalization ability of MBP using Fourier transform, we also
propose a novel two-stage pruning approach, where one stage is to obtain the
topological structure of the pruned network and the other stage is to retrain
the pruned network to recover the capacity using knowledge distillation from
lower to higher on the frequency domain. Extensive experiments on CIFAR-10 and
CIFAR-100 demonstrate the superiority of our novel Fourier analysis based MBP
compared to other traditional MBP algorithms.
中文翻译:
通过傅里叶分析赢得彩票:频率引导的网络修剪
随着深度学习最近取得显著成功,迫切需要高效的网络压缩算法来释放智能手机或平板电脑等边缘设备的潜在计算能力。然而,最优网络剪枝是一项重要的任务,在数学上是一个 NP-hard 问题。以前的研究人员将训练修剪后的网络解释为购买彩票。在本文中,我们研究了基于幅度的修剪(MBP)方案,并通过对深度学习模型的傅里叶分析从一个新颖的角度对其进行分析,以指导模型指定。除了使用傅里叶变换解释 MBP 的泛化能力外,我们还提出了一种新颖的两阶段剪枝方法,其中一个阶段是获得修剪后的网络的拓扑结构,另一阶段是重新训练修剪后的网络,以在频域上使用从低到高的知识蒸馏来恢复容量。在 CIFAR-10 和 CIFAR-100 上的大量实验证明了我们基于傅里叶分析的新型 MBP 与其他传统 MBP 算法相比的优越性。
更新日期:2022-02-01
中文翻译:
![](https://scdn.x-mol.com/jcss/images/paperTranslation.png)
通过傅里叶分析赢得彩票:频率引导的网络修剪
随着深度学习最近取得显著成功,迫切需要高效的网络压缩算法来释放智能手机或平板电脑等边缘设备的潜在计算能力。然而,最优网络剪枝是一项重要的任务,在数学上是一个 NP-hard 问题。以前的研究人员将训练修剪后的网络解释为购买彩票。在本文中,我们研究了基于幅度的修剪(MBP)方案,并通过对深度学习模型的傅里叶分析从一个新颖的角度对其进行分析,以指导模型指定。除了使用傅里叶变换解释 MBP 的泛化能力外,我们还提出了一种新颖的两阶段剪枝方法,其中一个阶段是获得修剪后的网络的拓扑结构,另一阶段是重新训练修剪后的网络,以在频域上使用从低到高的知识蒸馏来恢复容量。在 CIFAR-10 和 CIFAR-100 上的大量实验证明了我们基于傅里叶分析的新型 MBP 与其他传统 MBP 算法相比的优越性。