周伯文对话斯坦福教授曼宁：人机对话智能新进展需要新「图灵测试」

「我的一些学生发表过论文试图解读 BERT 的运作机制。现在,我们已能够对这些模型进行大量解码,并看到这些模型不仅是巨大的联想学习机器,而且它们实际上是在学习人类语言的结构,其解句子的语法结构,了解哪些词是指同一实体,」曼宁说道。

因此,我们已经能够获得模型内部的可解释性,这意味着模型可以对其整体行为做出某种决定的原因做出一些解释。当然,这里还有很多工作要做,斯坦福研究者们正进行的工作希望就驱动模型决策的特征进行解释。

曼宁教授在 6 月份还以第一作者的形式发表了论文《Emergent linguistic structure in artificial neural networks trained by self-supervision》,其中写到预训练模型实际上可以学习语言结构,不需要任何监督。这解释了为什么大规模的模型是可行的。但是对于下一步如何更好的理解他们是怎么学习到的,这个目前还不太清楚,周伯文指出「这部分需要可信赖的AI来解决」。

这些发现非常令人兴奋。之前我们总是认为想让 AI 在某些任务上工作良好,需要是大型有监督模型。因此我们总是以大量资金、雇佣很多人进行数据标注开始。这是过去 20 年来的工作范式,人们也是通过这种形式在某些任务上让 NLP 模型达到接近人类水平的。

「如果下一代人工智能机器本质上和十年前一样,而考虑到训练的内容大幅增加,我们实际上是倒退了,而不是前进了,」曼宁说道。

「从技术角度来看,我将专注于尝试提高 NLP 的鲁棒性以及可解释性。在 NLP 领域中,如果了解 NLP 的结构,了解 NLP 的语义,将是人们构建可信任 AI 向前迈进的一大步,」周伯文表示。「如何预测下一个单词的过程对于人们来说还是一个黑箱。另一个方向是可扩展性,当我们从一个任务转移到另一个任务时,模型需要迁移得足够好。无论如何,可信赖的 AI 非常重要。如果我们可以在这个领域取得更大的进步,AI 市场和 AI 应用将变得越来越大、越来越多,并且适应性也将大大提高。因此,这将是我们长期关注的重点。」

2020智源-京东多模态对话挑战大赛

在 2019 年,京东举办了 JDDC 对话大赛,去年的主题是 Knowledge-enhanced Task-Oriented Dialogue,今年在智源大会上举办的对话大赛则主要关注对话中的多模态交互,即研究如何更好的理解对话中的多模态信息,产生 Task-Oriented Conversational response。

本次竞赛的数据来自于脱敏后的京东真实客服对话日志,共包含约 200 万轮次的对话,其中用户问题涉及约图片约 50 万张。

周伯文介绍到,为支持参赛队伍更好的比赛,本次大赛还提供了约 3 万商品的小型商品知识库,和 2 万张图片的标注数据。大赛开始三周,到目前为止已有超过 400 人参加比赛。

曼宁对于这场比赛的成功举办表示兴奋:「这场比赛非常火热,人类在这样的对话中扮演的角色也非常重要。显然作为人类,对话不是所有——我们还会使用背景知识和其他感觉。我认为这次我们将看到自然语言处理中很多 NLP 领域中奠定基础的新思想,有关 NLP 与对话发生环境、领域知识,以及理解和生成。」

这场连接京东大厦和斯坦福校园的对话,给我们带来了很多启发。由于新冠疫情的影响,周伯文与曼宁无法进行面对面的交谈,不过两人已经开始期待下一次的见面了。

不知下次见面时,人工智能技术将会出现哪些大发展?

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!