73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习

Hinton 介绍了 Sam T. Roweis 和 Lawrence K. Saul 在 2000 年 Science 论文《Nonlinear Dimensionality Reduction by Locally Linear Embedding》中提到的局部线性嵌入方法，该方法可以在二维图中显示高维数据点，并且使得非常相似的数据点彼此挨得很近。

但需要注意的是，LLE 方法会导致数据点重叠交融（curdling）和维度崩溃（dimension collapse）问题。

下图为 MNIST 数据集中数字的局部线性嵌入图，其中每种颜色代表不同的数字：

此外，这种长字符串大多是一维的，并且彼此之间呈现正交。

从线性关系嵌入（LRE）到随机邻域嵌入（SNE）

在这部分中，Hinton 介绍了从线性关系嵌入（Linear Relational Embedding, LRE）到随机邻域嵌入（Stochastic Neighbor Embedding, SNE）方法的转变。他表示，只有「similar-to」关系存在时，LRE 才转变成 SNE。

同时，Hinton 指出，可以将 LRE 目标函数用于降维（dimensionality reduction）。

下图为 SNE 的示意图，其中高维空间的每个点都有选择其他点作为其邻域的条件概率，并且邻域分布基于高维成对距离（pairwise distance）。

从随机邻域嵌入（SNE）到 t 分布随机邻域嵌入（t-SNE）

t 分布随机邻域嵌入（t-distributed stochastic neighbor embedding, t-SNE）是 SNE 的一种变体，原理是利用一个 student-distribution 来表示低维空间的概率分布。

Hinton 在下图中展示了 MNIST 数据集中数字的 t-SNE 嵌入图，每种颜色代表不同的数字：

在介绍完这些方法之后，Hinton 提出了两个问题：1）方差约束在优化非线性或非参数映射时为何表现糟糕？2）典型相关分析或线性判别分析的非线性版本为何不奏效？并做出了解答。

最后，Hinton 提出使用对比损失（contrastive loss）来提取空间或时间一致性的向量表示，并介绍了他与 Ruslan Salakhutdinov 在 2004 年尝试使用对比损失的探索，以及 Oord、Li 和 Vinyals 在 2018 年使用对比损失复现这种想法，并用它发现时间一致性的表示。

Hinton 表示，当前无监督学习中使用对比损失一种非常流行的方法。

无监督对比学习的最新实现 SimCLR

在演讲最后，Hinton 重点介绍了其团队使用对比损失提取一致性表示的最新实现 SimCLR，这是一种用于视觉表示的对比学习简单框架，它不仅优于此前的所有工作，也优于最新的对比自监督学习算法。

下图为 SimCLR 的工作原理图：

那么 SimCLR 在 ImageNet 上的 Top-1 准确率表现如何呢？下图展示了 SimCLR 与此前各类自监督方法在 ImageNet 上的 Top-1 准确率对比（以 ImageNet 进行预训练），以及 ResNet-50 的有监督学习效果。

Hinton 表示，经过 ImageNet 上 1% 图片标签的微调，SimCLR 可以达到 85.8％的 Top-5 准确率——在只用 AlexNet 1% 标签的情况下性能超越后者。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!