深度学习之后会是啥？

Pyro和Edward是两种新的编程语言，它们融合了深度学习框架和概率编程。Pyro是Uber和Google的作品，而Edward则来自哥伦比亚大学，由DARPA提供资金。其结果是一个框架，允许深度学习系统衡量他们对预测或决策的信心。

在经典的预测分析中，我们可能会通过使用对数损失作为健身函数来处理这个问题，惩罚有信心但错误的预测(假阳性)。到目前为止，还没有用于深度学习的必然结果。

例如，这有望使用的地方是在自动驾驶汽车或飞机中，允许控制在做出关键或致命的灾难性决定之前有一些信心或怀疑感。这当然是你希望你的自主Uber在你上车之前就知道的事情。

Pyro和Edward都处于开发的早期阶段。

不像深网的方法

我经常会遇到一些小公司，他们的平台核心是非常不寻常的算法。在我追问的大多数案例中，他们都不愿意提供足够的细节，甚至让我为你描述里面的情况。这种保密并不能使他们的效用失效，但是在他们提供一些基准和一些细节之前，我无法真正告诉你里面发生了什么。当他们最终揭开面纱的时候，就把这些当作我们未来的工作台吧。

目前，我所调查的最先进的非DNN算法和平台是这样的。

层次时间记忆(HTM)

层次时间记忆(HTM)使用稀疏分布式表示法(SDR)对大脑中的神经元进行建模，并进行计算，在标量预测(商品、能源或股票价格等未来值)和异常检测方面优于CNN和RNN。

这是Palm Pilot名宿Jeff Hawkins在其公司Numenta的奉献作品。霍金斯在对大脑功能进行基础研究的基础上，追求的是一种强大的人工智能模型，而不是像DNN那样用层和节点来结构。

HTM的特点是，它发现模式的速度非常快，只需1,000次观测。这与训练CNN或RNN所需的几十万或几百万次的观测相比，简直是天壤之别。

此外，模式识别是无监督的，并且可以根据输入的变化来识别和概括模式的变化。这使得系统不仅训练速度非常快，而且具有自学习、自适应性，不会被数据变化或噪声所迷惑。

一些值得注意的渐进式改进

我们开始关注真正的游戏改变者，但至少有两个渐进式改进的例子值得一提。这些显然仍然是经典的CNN和RNNs，具有反向支撑的元素，但它们工作得更好。

(1) 使用Google Cloud AutoML进行网络修剪

谷歌和Nvidia的研究人员使用了一种名为网络修剪的过程，通过去除对输出没有直接贡献的神经元，让神经网络变得更小，运行效率更高。这一进步最近被推出，作为谷歌新的AutoML平台性能的重大改进。

(2) Transformer

Transformer是一种新颖的方法，最初在语言处理中很有用，比如语言到语言的翻译，这一直是CNNs、RNNs和LSTMs的领域。去年夏末由谷歌大脑和多伦多大学的研究人员发布，它在各种测试中都表现出了显著的准确性改进，包括这个英语/德语翻译测试。

RNNs的顺序性使其更难充分利用现代快速计算设备(如GPU)，因为GPU擅长的是并行而非顺序处理。CNN比RNN的顺序性要差得多，但在CNN架构中，随着距离的增加，将输入的远端部分的信息组合起来所需的步骤数仍然会增加。

准确率的突破来自于 "自注意功能 "的开发，它将步骤大幅减少到一个小的、恒定的步骤数。在每一个步骤中，它都应用了一种自我关注机制，直接对一句话中所有词之间的关系进行建模，而不管它们各自的位置如何。

就像VC说的那样，也许是时候该换换口味了。

相关报道：https://www.datasciencecentral.com/profiles/blogs/what-comes-after-deep-learning

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!