创新工场两篇论文入选ACL2020 中文分词和词性标注新模型性能创新高

7月8日消息，全球自然语言处理领域（NLP）顶级学术会议 ACL 2020 今年在线举办，来自创新工场大湾区人工智能研究院的2篇论文入选，这两篇论文均聚焦中文分词领域。

这两篇论文分别是《Improving Chinese Word Segmentation with Wordhood Memory Networks》和《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》，由华盛顿大学博士研究生、创新工场实习生田元贺，创新工场大湾区人工智能研究院执行院长宋彦，创新工场科研合伙人张潼，创新工场CTO兼人工智能工程院执行院长王咏刚等人创作。

这两篇论文各自提出了“键-值记忆神经网络的中文分词模型”和“基于双通道注意力机制的分词及词性标注模型”，将外部知识（信息）创造性融入分词及词性标注模型，有效剔除了分词“噪音”误导，大幅度提升了分词及词性标注效果，将该领域近年来广泛使用的数据集上的分数全部刷至新高。

今天，创新工场大湾区人工智能研究院执行院长宋彦向媒体分享了这两篇入选论文的研究内容。宋彦本人有超过15年的NLP领域的科研经验。

据宋彦介绍，中文分词和词性标注是中文自然语言处理的两个基本任务。近年来，随着预训练模型的提出，有一些人提出质疑是否还有必要进行中文分词的处理，对此我们提出了不同的意见，尤其考虑到词汇级别的信息依然是中文信息处理最重要的基础。一个例子就是，虽然BERT大行其道，但是在中文上基于全词覆盖 （whole word masking）的预训练模型比直接使用单字编码的效果更好。

而创新工场的这两篇文章用记忆神经网络的方式记录对分词结果有影响的 n元组，并引入对词性标注有影响的句法知识，将分词结果和自动获得的知识衔接起来，既发挥了神经网络的优势，也把知识的优势用上，实现了分词技术上小而有效的改进和突破。

 “键-值记忆神经网络的中文分词模型” 刷新中文分词历史性能

宋彦介绍，通常而言，中文语言因其特殊性，在分词时面临着两个主要难点。

一是歧义问题，由于中文存在大量歧义，一般的分词工具在切分句子时可能会出错。例如，“部分居民生活水平”，其正确的切分应为“部分/居民/生活/水平”，但存在“分居”、“民生”等歧义词。“他从小学电脑技术”，正确的分词是：他/从小/学/电脑技术，但也存在“小学”这种歧义词。

二是未登录词问题。未登录词指的是不在词表，或者是模型在训练的过程中没有遇见过的词。例如经济、医疗、科技等科学领域的专业术语或者社交媒体上的新词，或者是人名。这类问题在跨领域分词任务中尤其明显。

对此，《Improving Chinese Word Segmentation with Wordhood Memory Networks》论文提出了基于键-值记忆神经网络的中文分词模型。

该模型利用n元组（即一个由连续n个字组成的序列，比如“居民”是一个2元组，“生活水平”是一个4元组）提供的每个字的构词能力，通过加（降）权重实现特定语境下的歧义消解。并通过非监督方法构建词表，实现对特定领域的未标注文本的利用，进而提升对未登录词的识别。

例如，在“部分居民生活水平”这句话中，到底有多少可能成为词的组块？单字可成词，如“民”；每两个字的组合可能成词，如“居民”；甚至四个字的组合也可能成词，例如“居民生活”。

把这些可能成词的组合全部找到以后，加入到该分词模型中。通过神经网络，学习哪些词对于最后完整表达句意的帮助更大，进而分配不同的权重。像“部分”、“居民”、“生活”、“水平”这些词都会被突出出来，但“分居”、“民生”这些词就会被降权处理，从而预测出正确的结果。

键-值记忆神经网络分词模型

在“他从小学电脑技术” 这句话中，对于有歧义的部分“从小学”（有“从/小学”和“从小/学”两种分法），该模型能够对“从小”和“学”分配更高的权重，而对错误的n元组——“小学”分配较低的权重。

为了检验该模型的分词效果，论文进行了严格的标准实验和跨领域实验。

实验结果显示，该模型在5个数据集（MSR、PKU、AS、CityU、CTB6）上的表现，刷新最好成绩（F值越高，性能越好）。

宋彦表示，与前人的模型进行比较发现，该模型在所有数据集上的表现均超过了之前的工作，“把中文分词领域广泛使用的标准数据集上的性能全部刷到了新高。”

和前人工作的比较

在跨领域实验中，论文使用网络博客数据集（CTB7）测试。实验结果显示，在整体F值以及未登陆词的召回率上都有比较大提升。

”基于双通道注意力机制的分词及词性标注模型“有效剔除噪音误导

第二篇论文《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》提供了一种基于双通道注意力机制的分词及词性标注模型。

宋彦介绍，中文分词和词性标注是两个不同的任务。词性标注是在已经切分好的文本中，给每一个词标注其所属的词类，例如动词、名词、代词、形容词。词性标注对后续的句子理解有重要的作用。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!