[发明专利]文本的语义段落识别方法和装置

权利要求书

1.一种文本的语义段落识别方法，包括：

将预先获取的至少两个待识别文本段输入预先训练的语言模型，得到用于表征所述至少两个待识别文本段的语义连续性的连续性特征；

将所述至少两个待识别文本段中的一个作为当前待识别文本段，并对所述当前待识别文本段输入预先生成的规则特征提取模型进行规则特征提取，以确定所述当前待识别文本段在预先设置的规则下的规则特征；

基于所得到的连续性特征，确定所述至少两个待识别文本段是否属于同一语义段落；

其中，所述基于所得到的连续性特征，确定所述至少两个待识别文本段是否属于同一语义段落，包括：

将所得到的连续性特征和所确定的规则特征输入预先训练的语义段落识别模型，以确定所述至少两个待识别文本段是否属于同一语义段落。

2.根据权利要求1所述的方法，其中，所述语义段落识别模型利用预先生成的训练样本集训练得到；

其中，所述训练样本集中的训练样本包括连续性样本特征和规则样本特征，所述连续性样本特征通过将第一样本词序列和第二样本词序列输入所述语言模型得到，所述规则样本特征通过将所述第二样本词序列输入所述规则特征提取模型得到；

所述训练样本集中的训练样本还包括标注，所述标注用于标识所述第一样本词序列和第二样本词序列是否属于同一语义段落。

3.根据权利要求1所述的方法，其中，所述将预先获取的至少两个待识别文本段输入预先训练的语言模型，得到用于表征所述至少两个待识别文本段的语义连续性的连续性特征，包括：

将预先获取的至少两个待识别文本段输入预先训练的语言模型；

利用所述语言模型，对所述至少两个待识别文本段进行如下处理，以得到所述连续性特征：

对所述至少两个待识别文本段进行分词，得到词序列；

基于所述词序列中的词在预设语料库中的历史共现度，确定所述连续性特征。

4.根据权利要求1-3之一所述的方法，其中，所述至少两个待识别文本段通过以下方式得到：

按照预先设置的识别顺序，从包含文字的图片中确定出文本区域序列；

对文本区域序列中的各文本区域进行文字识别，得到识别结果序列；

将所述识别结果序列中，相邻的至少两个识别结果作为所述至少两个待识别文本。

5.一种文本的语义段落识别装置，包括：

连续性特征生成单元，被配置成将预先获取的至少两个待识别文本段输入预先训练的语言模型，得到用于表征所述至少两个待识别文本段的语义连续性的连续性特征；

规则特征生成单元，被配置成将所述至少两个待识别文本段中的一个作为当前待识别文本段，并对所述当前待识别文本段输入预先生成的规则特征提取模型进行规则特征提取，以确定所述当前待识别文本段在预先设置的规则下的规则特征；

确定单元，被配置成基于所得到的连续性特征，确定所述至少两个待识别文本段是否属于同一语义段落；

其中，所述确定单元进一步被配置成：

将所得到的连续性特征和所确定的规则特征输入预先训练的语义段落识别模型，以确定所述至少两个待识别文本段是否属于同一语义段落。

6.根据权利要求5所述的装置，其中，所述语义段落识别模型利用预先生成的训练样本集训练得到；

其中，所述训练样本集中的训练样本包括连续性样本特征和规则样本特征，所述连续性样本特征通过将第一样本词序列和第二样本词序列输入所述语言模型得到，所述规则样本特征通过将所述第二样本词序列输入所述规则特征提取模型得到；

所述训练样本集中的训练样本还包括标注，所述标注用于标识所述第一样本词序列和第二样本词序列是否属于同一语义段落。

7.根据权利要求5所述的装置，其中，所述连续性特征生成单元进一步被配置成：

将预先获取的至少两个待识别文本段输入预先训练的语言模型；

利用所述语言模型，对所述至少两个待识别文本段进行如下处理，以得到所述连续性特征：

对所述至少两个待识别文本段进行分词，得到词序列；

基于所述词序列中的词在预设语料库中的历史共现度，确定所述连续性特征。