[发明专利]一种文本采集方法、装置、计算机设备及可读存储介质

说明书

本申请提出了一种文本采集方法、装置、计算机设备及可读存储介质，该方法包括：获取命令表述文本；对命令表述文本进行词法分析，得到对应的分词结果和句法模式结果；将分词结果与词表进行匹配，得到新词比例；将句法模式结果与句法模式库进行匹配，得到句法模式差异比例；基于新词比例和句法模式差异比例，获取命令表述文本对应的句子差异度；若句子差异度大于预设差异度阈值，将命令表述文本添加至命令表述库。本申请通过对命令表述文本的词语差异性和语法差异性进行判断，实现新采集的命令表述与数据库已有命令表述之间差异度的自动分析，从而将相同语义不同表达的命令表述收录至数据库，提高文本差异度质检和录入的准确性和效率。

技术领域

本申请涉及数据处理技术领域，具体涉及一种文本采集方法、装置、计算机设备及可读存储介质。

背景技术

随着各种智能设备的发展，给人们的生活带来了诸多便利。例如，越来越多的智能设备不仅可以支持遥控器控制方式，同时还支持语音控制方式，例如采用语音控制方式控制灯具、空调、电视和窗帘等家居设备。目前现有技术中主要基于固定的设备命令词表，首先采集用户读出设备命令词表中所包含的命令词，然后采用意图识别算法识别命令词对应的意图并执行该命令。但如果用户的命令表述超出设备命令词表范围时，意图识别算法就不能识别该命令词对应的意图，从而无法执行该命令。因此，为了避免让用户记忆大量的命令词，能够使用更灵活多样的命令表达形式来进行语音控制，算法需要学习大量的相同语义不同表达的命令表述数据。

在对现有技术的研究与实践的过程中，本申请的发明人发现，目前现有技术中，主要先通过人工采集命令表述数据，再对新采集的命令表述与数据库中已有句子进行匹配，通过判断命令表达是否存在差异，从而达到算法学习和命令表述录入的效果。但该方式存在如下问题，由于当检测到字词上稍有差别就判定存在表述差异，但有时差异的字词可能只是辅助性词语，并不一定导致命令表述产生差异，且没有考虑到句法的差异性，降低了检测的效率和准确性，容易影响命令表述采集的数据质量。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种文本采集方法、装置、计算机设备及可读存储介质，可以实现新采集的命令表述与数据库已有命令表述之间差异度的自动分析，提高文本差异度质检和录入的准确性和效率。

本申请提供一种文本采集方法，包括如下步骤：

获取命令表述文本；

对所述命令表述文本进行词法分析，得到对应的分词结果和句法模式结果；

将所述分词结果与词表进行匹配，得到新词比例；

将所述句法模式结果与句法模式库进行匹配，得到句法模式差异比例；

基于所述新词比例和所述句法模式差异比例，获取所述命令表述文本对应的句子差异度；

若所述句子差异度大于预设差异度阈值，将所述命令表述文本添加至命令表述库。

可选地，所述对所述命令表述文本进行词法分析，得到对应的分词结果和句法模式结果，包括：

通过预先构建的词法分析器对所述命令表述文本词法进行分析，得到对应的分词结果和词性标注结果；

将所述词性标注结果中的多个词性标注依次相连，得到所述句法模式结果。

可选地，所述将所述分词结果与词表进行匹配，得到新词比例，包括：

将所述分词结果中的每个分词依次与所述词表进行匹配，获取所述分词结果中新词的数量；

将所述新词的数量与所述分词结果中所有分词的数量的比值作为所述新词比例。

可选地，所述将所述句法模式结果与句法模式库进行匹配，得到句法模式差异比例，包括：