Binary neural networks - A survey
2026/5/10大约 2 分钟
Binary neural networks - A survey
概述
压缩深层网络的方法可以分为五类：
参数剪枝[26,29,30,31]
参数量化[32,33,34,35,36,37,38,39,40,41]
低秩参数分解[42,43,44,45,46]
转移/紧凑卷积滤波器[47,48,49,50]
知识蒸馏[51,52,53,54,55,56]。
其压缩深层网络的原理是：
参数剪枝和量化主要侧重于分别通过去除冗余/非关键参数或压缩参数空间（例如，从浮点权重到整数权重）来消除模型参数中的冗余。
低秩分解应用矩阵/张量分解技术来使用小尺寸的代理参数来估计信息参数。
基于紧凑卷积滤波器的方法依赖于精心设计的结构卷积滤波器来降低存储和计算复杂性。
知识蒸馏方法试图蒸馏出更紧凑的模型来重现更大网络的输出。
二值化
利用二值化技术，可以通过将层切换为全精度或 1 位来轻松验证层的重要性。如果某层二值化后性能大幅下降，则可以断定该层处于网络的关键路径上。
研究[62,67]表明，神经元的数量比位宽更重要，在深度神经网络中可能不需要使用实值神经元，这与生物神经网络的原理类似。
常识是，第一层和最后一层应保持较高的精度，这意味着这些层在神经网络的预测中发挥着更重要的作用。
该综述试图利用二值神经网络的性质，将其分为不优化量化函数的朴素二值化和包括最小化量化误差、改进损失函数和减小梯度误差的优化二值化。