[发明专利]一种语料抽取方法、装置和电子设备

权利要求书

1.一种语料抽取方法，其特征在于，包括：

依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，其中，所述语料迭代结果包含迭代处理信息以及过滤后的语料，所述迭代处理信息用于表示每一次对各待过滤语料进行过滤处理时所记录的处理信息；

当所述语料迭代结果中迭代处理信息符合预设的迭代任务条件时，将所述语料迭代结果中过滤后的语料作为抽取的目标语料；

其中，所述依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，包括：

通过目标种子语言模型确定各待过滤语料的困惑度；

对各待过滤语料的困惑度进行统计，确定对应的困惑度平均值；

分别采用每一个待过滤语料的困惑度和所述困惑度平均值进行规整化计算，确定每一待过滤语料对应的第一概率；

确定每一个待过滤语料的句子概率，依据所述句子概率确定第二概率；

依据所述第一概率和第二概率，确定留下概率；

当待过滤语料对应的留下概率达到预设的概率阈值，确定为过滤后的语料，并记录对应的迭代处理信息；

基于过滤后的语料和所述迭代处理信息，确定所述语料迭代结果；

其中，所述分别采用每一个待过滤语料的困惑度和所述困惑度平均值进行规整化计算，确定每一待过滤语料对应的第一概率；确定每一个待过滤语料的句子概率，依据所述句子概率确定第二概率；依据所述第一概率和第二概率，确定留下概率的步骤，包括：

通过抽取公式P＝max(norm(ppl)，norm(logPs)，0)计算留下概率P，其中所述norm(ppl)为对待过滤语料的困惑度进行规整化处理，以将待过滤语料的困惑度值域从(0，+∞)规整到[0，100]之间，所述norm(logPs)为第二概率，所述ppl为困惑度，所述logPs为句子概率取对数后的结果。

2.根据权利要求1所述的方法，其特征在于，所述依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，包括：

检测所述语料迭代结果中的迭代处理信息是否符合所述迭代任务条件；

若所述迭代处理信息不符合所述迭代任务条件，则将所述语料迭代结果中过滤后的语料作为下一次过滤处理中的待过滤语料。

3.根据权利要求2所述的方法，其特征在于，所述迭代处理信息包括：语料迭代次数，所述检测所述语料迭代结果中的迭代处理信息是否符合所述迭代任务条件，包括：

判断所述语料迭代次数是否达到预设的迭代次数阈值；

若达到，则确定所述迭代处理信息符合所述迭代任务条件；否则，确定所述迭代处理信息不符合所述迭代任务条件。

4.根据权利要求2所述的方法，其特征在于，所述迭代处理信息包括：过滤后的语料对应的语料数量，所述检测所述语料迭代结果中的迭代处理信息是否符合所述迭代任务条件，包括：

判断所述语料数量是否超过预设的语料数量阈值；若所述语料数量超过所述语料数量阈值，则确定所述语料迭代结果不符合所述迭代任务条件；否则，确定所述语料迭代结果符合所述迭代任务条件；或者，

计算本次过滤后的语料数量与上一次过滤后的语料数量之间的差值；若所述差值超过预设的减少数量阈值，则确定所述语料迭代结果不符合所述迭代任务条件；否则，确定所述语料迭代结果符合所述迭代任务条件。

5.根据权利要求1或2所述的方法，其特征在于，还包括：

预先为各语料类别训练对应的种子语言模型；

在迭代过滤处理之前，依据待过滤语料所属的语料类别，确定对应预先训练的目标种子语言模型。

6.根据权利要求5所述的方法，其特征在于，所述为各语料类别训练对应的种子语言模型，包括：

对预设的语料进行分类处理，确定属于各语料类别的语料；

针对每一语料类别，采用属于所述语料类别的语料进行训练，生成所述语料类别对应的种子语言模型。