模型泛化能力提升：Dropout

翻阅不少资料，诺奖得主 Hilton 在 2012 年将 dropout 引入深度学习以来，除了其在深度学习模型中的确有效外，它的可解释性比前文模型泛化能力提升：正则化技术的理论与实现中提及的正则化技术更弱。

这种 “别问，用就是了” 的状况，对于一个理科生而言，似乎不太能够接受。

下面阐释一种本人比较能够接受的类比。不过最终无非只是用一种未知去解释另一种未知而已。

既然深度学习算法起源于对人脑神经元结构的模拟（暂时假设是接近正确的，不然后面所有展开都毫无意义），那么它也需要能够进化，而变异可以说是生物进化的充要条件。变异也是防止生物过拟合的一种手段。

训练数据是一个反应器

如果说 L2 正则化是要减弱生物对环境的过激反应。冬天来了，不需要长太过浓密的毛发，差不多就行了，春天不久就会到来。即使后续气候总体变暖或者变寒，都能相对容易去适应和改变。权重衰减（weight decay），更平滑地适应环境。

同样道理，只是 dropout 采取了不同路径。