斯坦福大学和谷歌的ResMem通过显式记忆改进了神经网络模型的泛化

当代大型神经网络在泛化新数据和新任务方面的显著成功归功于它们隐式记忆复杂训练模式的能力。增加模型大小已被证明是实现这种记忆的有效方法，但这也会极大地增加训练和服务成本。是否有一种方法可以在保持相对较小的模型规模的同时提高记忆和泛化?

斯坦福大学的一个研究团队在新论文ResMem: Learn What You Can and remember the Rest中解决了这个问题，提出了ResMem，一种剩余记忆算法，通过单独的k-nearest neighbour component执行显式记忆，提高较小神经网络模型的泛化能力。

研究小组总结了他们研究的主要贡献如下:

1. 我们提出了残差记忆(ResMem)，这是一种两阶段学习算法，它将基本预测模型与最近邻回归函数相结合。
2. 我们通过经验证明ResMem可以提高神经网络的测试性能，特别是在训练集非常大的情况下。
3. 我们从理论上分析了ResMem在程式化线性回归问题上的收敛速度，并表明它可以改进基本预测模型。
4. 先前的研究表明，记忆是足够的，甚至是神经网络模型中有效泛化的必要条件。基于这一研究方向，ResMem算法通过一种新颖的显式记忆方法来提高小模型的泛化性能。

该团队首先训练了一个标准神经网络，并用软k-最近邻回归(rkNN)拟合模型的残差。最后的输出是原始模型和rkNN预测的和。

该团队的实证研究将ResMem与DeepNet的视觉基线(CIFAR100和ImageNet上的图像分类)和自然语言处理(自回归语言建模)任务进行了比较。ResMem的测试集泛化能力超过了评估中的所有基准测试。研究人员还指出，当样本数量接近无穷大时，ResMem返回的测试风险比基础预测器更有利。