[发明专利]一种模型训练方法、装置、实现文本处理的方法及装置

说明书

一种模型训练方法、装置、实现文本处理的方法及装置，包括：对预设数量完成分词及词性标注的输入数据，以字为单位标识每一个组块中包含的字及每一个字的词性；通过预设的训练模型对完成标识的输入数据进行训练，获得对待处理文本进行分词及词性标注的文本处理模型；通过获得的文本处理模型，对待处理文本进行分词和词性标注。本发明实施例通过文本处理实现了分词和词性标注同时进行，避免了分词和词性标注过程的误差传递。

技术领域

本文涉及但不限于语言处理技术，尤指一种模型训练方法、装置、实现文本处理的方法及装置。

背景技术

分词与词性标注在自然语言处理中起着重要的作用；其中，分词是指识别句子中的词语组成，将句子拆分成词为单位的序列集合；词性标注是指识别词语在句子中的词性。

目前，分词包括基于词典的分词和基于统计的分词；其中，基于词典的分词包括：按照将待匹配的字符串和一个已建立好的词典中的词进行匹配，通过匹配词条的方式识别词语；常见的基于词典的分词包括：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。基于统计的分词包括：在给定大量已经分词的文本的前提下，利用统计机器学习模型对汉字进行标注训练，从而实现对未知文本的切分；常用的算法包括：隐马尔可夫模型(HMM)、条件随机场(CRF)、支持向量机(SVM)、深度学习等算法等。词性标注包括基于规则的词性标注和基于统计的词性标注；其中，基于规则的词性标注包括：利用事先制定好的规则对具有多个词性的词进行消歧，最后保留一个正确的词性。基于规则的词性标注方法，其基本思想是按兼类词(拥有多种可能词性的词)搭配关系和上下文语境建造词类消歧规则，早期的规则一般由人编写；随着语料库规模的逐步增大，相关技术人员提出了基于机器学习的规则自动提取方法。基于统计的词性标注包括：先对部分文本进行手工标注，然后对新的语料使用统计方法进行自动标注。

在相关技术中，分词与词性标注是两个单独的任务，在传递(Pipeline)的结构中，词性标注作为分词的下游任务，其准确性很大程度上依赖于分词的结果，存在误差传递的问题。如何避免误差传递成为一个有待解决的技术问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种模型训练方法、装置、实现文本处理的方法及装置，能够。

本发明实施例提供了一种模型训练方法，包括：

对预设数量完成分词及词性标注的输入数据，以字为单位标识每一个组块中包含的字及每一个字的词性；

通过预设的训练模型对完成标识的输入数据进行训练，获得对待处理文本进行分词及词性标注的文本处理模型。

在一种示例性实施例中，所述以字为单位标识每一个组块中包含的字及每一个字的词性，包括：

组块仅包含一个字时，以第一标识符对组块包含的字进行标识；组块包含两个或两个以上字时，以所述第一标识符标识组块的第一个字，以第二标识符对组块包含的除所述第一个字以外的其他的字进行标识；

对每一个组块，分别根据输入数据的词性标注，分别标识组块中包含的每一个字的词性。

在一种示例性实施例中，所述训练模型包括：

Transformer模型和条件随机场CRF模型；

其中，所述Transformer模型用于训练获得以下一项或任意组合的语句特征：字与字之间的关系、词与词之间的关系、顺序关系；所述CRF模型用于对输出标签关系进行特征提取。

另一方面，本发明实施例还提供一种实现文本处理的方法，包括：

对预设数量完成分词及词性标注的输入数据，以字为单位标识每一个组块中包含的字及每一个字的词性；