深度学习压缩剪枝算法研究与应用

背景介绍

尽管深度学习算法模型性能强大，然而由于其参数量多、运行所需要的算力极其庞大，使得深度学习网络难以在存储资源或计算资源受限的平台上部署运行，只能部署在GPU等硬件设备上进行加速计算。这样的特点大大限制了其应用场景，要求我们对深度学习网络模型进行优化和压缩，减少其对资源的需求，以便灵活部署到低资源的硬件平台中。

应用场景

模型压缩应用于算力有限的边缘设备，比如车载平台，无人机等。在不影响准确性的前提下，制作能在边缘设备约束下运行的更小的模型具有广泛的应用价值。

已有成果

设计了一种动态稀疏方法，该方案一方面加深对于模型冗余参数的挖掘力度，另一方面细粒度平衡稀疏训练和精度训练的制约关系。实现了更高剪枝率下的精度保持。