[发明专利]一种模型训练、语料处理方法、装置以及计算机设备

说明书

本发明实施例公开了一种模型训练、语料处理方法、装置以及计算机设备。语料处理方法，包括：获取待处理语料，并将待处理语料输入至依存关系分析模型；通过依存关系分析模型对待处理语料进行依存关系分析；根据依存关系分析模型的分析结果从待处理语料中确定异常语料；其中，依存关系分析模型为通过模型训练得到的模型。本发明实施例的技术方案能够提高语料处理的处理效率以及准确率。

技术领域

本发明实施例涉及文本处理技术领域，尤其涉及一种模型训练、语料处理方法、装置以及计算机设备。

背景技术

语料处理是文本处理技术领域应用非常广泛的一个技术要点，语料处理的效率直接影响文本处理时长。

可以理解的是，在很多采集的待处理语料中难免包括很多异常语料，也即没有实际意义的语料，这些异常语料也可称为脏预料。异常语料的句法关系混乱，各个词语之间的依存关系错误，在对采集的待处理语料进行处理时，往往需要筛选出句法关系混乱的异常预料并进行删除，以保证待处理语料中的所有语料都是正常语料。

目前筛选异常语料的处理方法大多采用人工处理方式，需要投入大量的人工成本和时间成本，逐句的人工筛查导致语料处理效率低下。虽然现有技术中已经存在对语料的依存关系进行判断的模型，但这类模型会同时对正常语料和异常语料进行依存关系分析，无法确定依存关系分析结果的正确性，也不能筛选出异常语料。

发明内容

本发明实施例提供一种模型训练、语料处理方法、装置以及计算机设备，以提高语料处理的处理效率以及准确率。

第一方面，本发明实施例提供了一种模型训练方法，包括：

获取分词样本之间存在依存关系的语料样本数据；

将所述语料样本数据输入至预设机器学习模型中进行依存关系分析训练，得到依存关系分析模型；

所述依存关系分析模型用于对异常语料进行异常筛选处理。

第二方面，本发明实施例还提供了一种语料处理方法，包括：

获取待处理语料，并将所述待处理语料输入至依存关系分析模型；

通过所述依存关系分析模型对所述待处理语料进行依存关系分析；

根据所述依存关系分析模型的分析结果从所述待处理语料中确定异常语料；

其中，所述依存关系分析模型为上述第一方面所述的模型训练方法训练得到的模型。

第三方面，本发明实施例还提供了一种模型训练装置，包括：

语料样本数据获取模块，用于获取分词样本之间存在依存关系的语料样本数据；

依存关系分析训练模块，用于将所述语料样本数据输入至预设机器学习模型中进行依存关系分析训练，得到依存关系分析模型；

所述依存关系分析模型用于对异常语料进行异常筛选处理。

第四方面，本发明实施例还提供了一种语料处理装置，包括：

待处理语料获取模块，用于获取待处理语料，并将所述待处理语料输入至依存关系分析模型；

依存关系分析模块，用于通过所述依存关系分析模型对所述待处理语料进行依存关系分析；

异常语料确定模块，用于根据所述依存关系分析模型的分析结果从所述待处理语料中确定异常语料；

其中，所述依存关系分析模型为上述第一方面所述的模型训练方法训练得到的模型。

第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；