标签平滑与深度学习

作者注意到，尽管使用标签平滑化训练提高了教师的最终准确性，但与使用“硬”目标训练的教师相比，它未能向学生网络传递足够多的知识(无标签平滑)。

标签平滑的原因产生的模型，是多少显示在最初的可视化。在某种程度上显示在最初的可视化。通过将最终的分类强制到更紧密的集群中，网络删除了更多的细节，将重点放在类之间的核心区别上。

这种“舍入”有助于网络更好地处理不可见数据。然而，丢失的信息最终会对它教授新学生模型的能力产生负面影响。

因此，准确性更高的老师并不能更好地向学生提炼信息。

总结和SOTA提示:在几乎所有情况下，使用标签平滑训练可以产生更好的校准网络，从而更好地泛化，最终对不可见的生产数据更准确。

因此，默认情况下，标签平滑应该是大多数深度学习培训的一部分。

然而，有一种情况是，它没有用处，那就是建立网络，以后作为教师…然后硬目标训练将产生一个更好的教师神经网络。

注:与上述优秀论文及利用标签平滑的指南类似，过去三个月已经发表了许多有用的论文。因此，我计划为那些参与训练和建立神经网络的人提供SOTA最新最优秀论文的摘要和“训练技巧”(并将在我们团队下一次努力打破更多FastAI排行榜记录时使用同样的方法)。请继续关注!

原文链接：https://medium.com/@lessw/label-smoothing-deep-learning-google-brain-explains-why-it-works-and-when-to-use-sota-tips-977733ef020

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!