如何打造中国版的“万能AI”GPT-3

目前的 GPT-3 模型还严重依赖小样本学习机制。虽然 GPT-3 不需要精调，但是在完成具体的 NLP 任务时，还是会把少量和任务相关的实例给模型。在零样本和单样本的任务上，GPT-3 退化比较明显，事实上后面两个任务才是更普遍遇到的问题。

“下一代 GPT 模型需要加强在理论上的泛化能力，以便更好地处理零样本和单样本的任务。”李志飞表示。

下一代的 GPT 模型极有可能是一个多模态的模型。OpenAI 认为，纯文本的自回归预训练模型达到当下的规模，已经快接近极限了，需要往多模态模型方向发展，把文本、语音、图像这些内容结合起来进行学习。李志飞认为，多模态模型，一方面可以引入语言之外的更多维度的信息，另外一方面可以促使模型学习完成更通用化的表示，以此加强模型的泛化能力。

另外一个重要的进化，是引入学习反馈机制。目前GPT模型只是能够在完全无监督的条件下，读取海量互联网文本数据进行学习，但是人类的学习过程是跟物理世界有交互的，只有这样才能建立更多物理世界的“常识”，比如说杯子应该在桌子上面而不是下面。如果要到达更加通用的状态，除了多模态外，还要在学习过程中引入物理世界的反馈机制。

“当然，这个反馈也是通过数据来实现的，而不是让GPT真正像人一样去探索物理世界。”李志飞说道，“另外，鉴于 GPT 希望实现完全无监督学习的初衷，这个反馈更多是隐式的和延迟的，而不是显式的和及时的。为了做到这些，需要引入强化学习（re-inforcement learning）之类的机制。”

李志飞还认为，GPT-4 可能引入任务执行能力。现在的 GPT 主要是一个预测和生成的引擎，而不是一个任务的执行器。

比如，你跟GPT说“帮我订一下明天下午三点左右北京去上海的经济舱的机票”，目前GPT也许能理解这句话的意思，但还没有能力自动调取订票网站的 API（应用程序接口）去执行任务。如果不具备这种执行能力，GPT的通用性就很有限，因为每一个任务都需要额外增加代码用以执行理解后的任务。所以，GPT 必须学习怎么直接执行任务。

总体而言，李志飞对 GPT 的未来发展非常乐观：“未来互联网上的很多内容或知识，都会是由类 GPT 模型产生或加工过的。所以某种程度上，GPT的发展代表着语言主权的演进，且它将有潜力成为一种生态系统。”

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!