2020年AI如何发展？且看这些机器学习顶尖人士的预测

毫无疑问，2019年最大的机器学习趋势之一是基于Transformer的自然语言模型的持续增长和扩散，该模型曾被称为近年来人工智能最大的突破之一。谷歌于2018年开源了基于Transformer的模型BERT。根据GLUE排行榜，今年发布的许多性能最高的模型（比如谷歌的XLNet、微软的MT-DNN和Facebook的RoBERTa）都基于Transformer。相关人士表示，XLNet 2将于本月晚些时候发布。

Dean指出了已经取得的进展，他说：“我认为整个研究线程在实际产生机器学习模型方面成果显著，不过尽管现在让我们做的机器学习模型比过去复杂得多，但仍然有很大的进步空间。我们仍然希望能够执行更多与语境相关的模型。像现在这样，BERT和其他模型可以很好地处理数百个单词，但不能处理含1万个单词左右的文章。因此，这是一个有趣的研究方向。”Dean希望少强调一些最新技术，而倾向于创建更强大的模型。

谷歌AI还将努力推进新的举措，例如Everyday Robot，这是一个于2019年11月推出的内部项目，旨在制造能够在家庭和工作场所完成日常任务的机器人。

英伟达机器学习研究总监Anima Anandkumar

Anandkumar在担任AWS首席科学家后加入了GPU制造商英伟达。在英伟达，人工智能研究在多个领域进行，从医疗保健的联合学习到自动驾驶，再到超级计算机和图形学。

2019年，英伟达和Anandkumar在机器学习方面的研究重点主要是强化学习的仿真框架，这些框架也越来越受欢迎和成熟。

在2019年，我们看到了英伟达的Drive自动驾驶平台和Isaac机器人模拟器的兴起，以及从模拟和生成对抗网络（GAN）生成综合数据模型的兴起。

去年该公司还迎来了AI的兴起，例如StyleGAN和GauGAN。上个月，StyleGAN2也已经面世。

GAN是可以模糊现实界限的技术，Anandkumar认为，它们可以帮助AI社区尝试解决一些主要挑战，例如如何抓住机器人的手和自动驾驶。

Anandkumar还希望迭代算法、自我监督和自主训练模型的方法在未来一年能取得进展，这些模型可以通过对未标记数据进行自训练来改进。

“我认为各种不同的迭代算法都是未来，因为如果你只做一个前馈网络，那么鲁棒性就会成为问题，”她说。“如果你尝试进行多次迭代，并且根据所需的数据类型或精度要求来调整迭代次数，那么实现这一目标的机会就更大了。”

Anandkumar看到了2020年AI社区面临的众多挑战，例如需要与领域专家一道创建专门针对特定行业的模型。决策者、个人和AI社区也将需要应对具有代表性的问题，以及确保用于训练模型的数据集能够涵盖不同的人群。

她说：“我认为面部识别问题很容易掌握，但在很多其他领域，人们还没有意识到使用数据据信息存在隐私问题。”

Anandkumar说，面部识别获得了最大的关注，因为很容易理解面部识别如何侵犯个人隐私，但是2020年AI社区还面临许多其他道德问题。“我们将在如何收集数据以及如何使用数据方面经历越来越严格的审查。”

在Anandkumar看来，2019年的一大惊喜是文本生成模型的发展速度。“2019年是语言模型之年。现在，我们第一次达到了在段落的长度上更连贯使用文本生成，这在之前是不可能实现的，”Anandkumar说。

在2019年8月，英伟达推出了Megatron自然语言模型。Megatron拥有80亿个参数，被誉为全球最大的基于Transformer的AI模型。Anandkumar说，她对人们开始将模型表征为具有个性的方式感到惊讶，她期待看到更多针对特定行业的文本模型。

“我们还没有进入对话互动的阶段，对话可以保持跟踪并进行自然对话。因此，我认为在2020年需要朝这个方向前进，”她说。

开发用于控制文本生成的框架要比开发可以训练以识别人或物体的图像框架更具挑战性。文本生成模型还可能面临例如为神经模型定义事实的挑战。

最后，Anandkumar说，她很高兴看到Kidd在NeurIPS上的演讲，并被机器学习社区中越来越成熟和包容的迹象所鼓舞。

她说：“我觉得现在是分水岭。一开始要想做点小改动都很困难，并且一不注意水坝就可能破裂了。但是现在，我希望能保持这种势头，并进行更大的结构改革，促进行业的蓬勃发展。”

IBM Reaserch总监Dario Gil

Gil领导的一组研究人员积极为白宫和世界各地的企业提供咨询服务。他认为，2019年的重大飞跃包括围绕生成模型的进步以及可产生合理语言不断提高的质量。

他预测，在降低精度的体系结构上，更有效的训练将继续取得进展。更高效AI模型的开发是NeurIPS的重点，IBM Research在此引入了具有8位精度模型的深度学习技术。

他说：“在我们使用具有GPU架构的现有硬件训练深度神经网络的方式上，效率仍然远远不够。因此，我们必须提高AI的计算效率，需要做更多的事情来实现这一目标。”

Gil引用相关研究表明，对机器学习训练的需求每三个半月翻一番，这比摩尔定律所预测的增长要快得多。

Gil也对AI如何帮助加速科学发现感到兴奋，但是IBM Research将主要专注于机器学习的神经符号方法。

Gil希望AI从业者和研究人员将专注于准确性以外的指标，以考虑生产中部署模型的价值。将领域转移到构建受信任的系统，而不是将准确性放在首位，这将是继续采用AI的中心支柱。

“社区中的某些成员可能会说，‘不用担心，只是提供准确性。没关系，人们会习惯这个东西有点黑匣子’，或者他们会提出这样的论点，即人类有时不会对我们做出的某些决定产生解释。我认为，非常重要的一点是，我们应该集中社区的智慧力量，在此方面做得更好。人工智能系统不能成为关键任务应用的黑匣子，”他说。

Gill相信要摆脱这样的观念，即只有少数机器学习向导才能做到AI，以确保更多的具有数据科学和软件工程技能的人采用AI。

他说：“如果我们把它作为一个神话领域，只有从事此工作的博士才能进入，可这并没有真正为它的采用做出贡献。”

operate a program, and models that can share the reasoning behind their decisions.

2020年，Gil对神经符号AI特别感兴趣。IBM将寻求神经符号方法来增强诸如概率性编程之类的功能，其中AI将学习如何操作程序以及可共享其决策背后原因的模型。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!