[发明专利]多粒度分词标注数据自动获取方法及系统

说明书

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种多粒度分词标注数据 自动获取方法及系统。

背景技术

传统的分词任务都为单粒度分词任务，即一个连续的字序列只能按照一种 特定的分词规范切分为唯一一个词序列。同时，现有的人工标注分词标注数据 也都为单粒度分词标注数据。因此，国内外尚不存在多粒度分词标注数据。

单粒度分词结果为一个词序列结构。单粒度分词标注数据严格按照某一种 特定的标注规范，经过人工标注得到。存在两个问题：(1)不同人对于词语的 认识不同，即使通过学习标注规范，仍然会有分歧，导致标注不一致。(2)基 于单粒度分词标注数据的单粒度分词任务，无法满足实际应用的需求。有的应 用同时需要不同粒度的分词结果，从而产生更好的结果。

有了多粒度分词标注数据，才能有效训练多粒度分词模型。由于现有的分 词标注数据都为单粒度分词标注数据，且目前尚未出现多粒度分词标注数据的 获取方法，因此，若要获得多粒度分词标注数据，一种方法是通过人工标注的 方法完成。然而人工标注的方法存在以下几个缺点：(1)制定多粒度分词标注 规范的难度非常大，显然比制定一个单粒度分词标注规范更困难。(2)对标注 者的要求更高，需要标注者学习一个更复杂的标注规范。(3)标注过程更复杂， 标注结果从序列结构，变成层次结构。总之，人工标注多粒度分词标注数据的 人力和时间成本非常高。

有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种多粒度分 词标注数据自动获取方法及系统，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种利用机器学习的方式自动 获取句子的多粒度分词结果，进而经获取的多粒度分词结果合并形成多粒度分 词标注数据的多粒度分词标注数据自动获取方法及系统。

为达到上述发明目的，本发明多粒度分词标注数据自动获取方法，包括：

选择n种不同规范的单粒度分词标注数据集，其中n≥2，且n为正整数；

将至少一种单粒度分词标注数据集中的句子分别转化为遵守其他n-1种分 词规范的分词序列，被转化后的句子对应的n种不同规范的分词序列为该句子 的多粒度分词结果；

合并每一个句子的多粒度分词结果，形成多粒度分词标注数据集。

进一步地，还包括:将每一个句子对应的多粒度分词结果转化为多粒度分词 层次结构，所述的多粒度分词层次结构各层分别为句子、不能进一步与其他词 语合并成更粗粒度的词语、词语、字。

进一步地，还包括：检查所述多粒度分词层次结构中词语是否存在交叉， 若存在交叉，则进行人工校正。

进一步地，将一种单粒度分词标注数据集中的句子转化为遵守其他分词规 范的分词序列过程中，首先，将单粒度分词标注数据集中的句子划分出train 数据、dev数据、test数据三类数据，然后，三类数据分别转化为遵守其他分 词规范的分词序列。

进一步地，采用基于异构标注数据的快速序列标注方法将一种单粒度分词 标注数据集中的句子转化为遵守其他分词规范的分词序列。

进一步地，将至少两种单粒度分词标注数据集中的句子分别转化为遵守其 他n-1种分词规范的分词序列。

为达到上述发明目的，本发明多粒度分词标注数据自动获取系统，包括：

分词规范选择单元，用于选择n种不同规范的单粒度分词标注数据集，其 中n≥2，且n为正整数；

句子规范转换单元，用于将至少一种单粒度分词标注数据集中的句子分别 转化为遵守其他n-1种分词规范的分词序列，被转化后的句子对应的n种不同 规范的分词序列为该句子的多粒度分词结果；

分词序列合并单元，用于合并每一个句子的多粒度分词结果，形成多粒度 分词标注数据集。

进一步地，还包括层次结构生成单元，用于将每一个句子对应的多粒度分 词结果转化为多粒度分词层次结构，所述的多粒度分词层次结构各层分别为句 子、不能进一步与其他词语合并成更粗粒度的词语、词语、字。

进一步地，纠错单元，用于检查所述多粒度分词层次结构中词语是否存在 交叉。

借由上述方案，本发明多粒度分词标注数据自动获取方法及系统至少具有 以下优点：

第一，本发明充分利用已有的单粒度分词人工标注数据，进行两两转化， 从而获得多粒度分词标注数据；