[发明专利]一种文本采集方法、装置、计算机设备及可读存储介质

权利要求书

1.一种文本采集方法，其特征在于，包括如下步骤：

获取命令表述文本；

通过采用CTB标注的语料库预先构建的词法分析器对命令表述文本词法进行自动词法分析，得到对应的分词结果；采用CTB标注数据集对分词结果的若干个词进行词性标注，得到命令表述文本对应的词性标注结果；将词性标注结果中的多个词性标注依次相连，将每个词性标注结果形成的字符串作为句法模式，得到所述命令表述文本的句法模式结果；

将所述分词结果中的每个分词依次与词表进行匹配，获取所述分词结果中新词的数量；将所述新词的数量与所述分词结果中所有分词的数量的比值作为所述新词比例；

分别获取所述句法模式结果中句法模式与句法模式库中每一句法模式的词错率，得到多个句法模式差异比例；根据多个所述句法模式差异比例，构建所述差异比例集合；将所述差异比例集合中最小差异比例作为所述句法模式差异比例；

基于所述新词比例和所述句法模式差异比例，获取所述命令表述文本对应的句子差异度；

若所述句子差异度大于预设差异度阈值，将所述命令表述文本添加至命令表述库。

2.根据权利要求1所述的文本采集方法，其特征在于，所述若所述句子差异度大于预设差异度阈值，将所述命令表述文本添加至命令表述库，包括：

若所述句子差异度大于所述预设差异度阈值，则将所述命令表述文本添加至命令表述库，将所述分词结果中的新词添加至所述词表，将所述句法模式结果中的句法模式差异比例大于预设第一阈值的句法模式添加至所述句法模式库。

3.根据权利要求2所述的文本采集方法，其特征在于，所述基于所述新词比例和所述句法模式差异比例，获取所述命令表述文本对应的句子差异度，包括：

根据所述新词比例和所述句法模式差异比例的权重，获取所述命令表述文本对应的句子差异度。

4.一种文本采集装置，其特征在于，包括：

获取模块，用于获取命令表述文本；

词法分析模块，用于通过采用CTB标注的语料库预先构建的词法分析器对所述命令表述文本词法进行自动词法分析，得到对应的分词结果；采用CTB标注数据集对分词结果的若干个词进行词性标注，得到命令表述文本对应的词性标注结果；将词性标注结果中的多个词性标注依次相连，将每个词性标注结果形成的字符串作为句法模式，得到所述命令表述文本的句法模式结果；

新词比例模块，用于将所述分词结果中的每个分词依次与词表进行匹配，获取所述分词结果中新词的数量；将所述新词的数量与所述分词结果中所有分词的数量的比值作为所述新词比例；

句法模式差异模块，用于分别获取所述句法模式结果中句法模式与句法模式库中每一句法模式的词错率，得到多个句法模式差异比例；根据多个所述句法模式差异比例，构建所述差异比例集合；将所述差异比例集合中最小差异比例作为所述句法模式差异比例；

句子差异度模块，用于基于所述新词比例和所述句法模式差异比例，获取所述命令表述文本对应的句子差异度；

录入模块，用于若所述句子差异度大于预设差异度阈值，将所述命令表述文本添加至命令表述库。

5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的文本采集方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的文本采集方法的步骤。