[发明专利]一种数据处理方法、装置及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取预备输出的第一数据；

利用使用口语化数据训练得到的数据模型，对所述第一数据中非口语数据进行清洗得到第二数据；

输出所述第二数据。

2.根据权利要求1所述方法，其特征在于，所述利用使用口语化数据训练得到的数据模型，对所述第一数据中非口语数据进行清洗得到第二数据，包括：

采用所述数据模型确定所述第一数据中待确定数据的困惑度PPL，其中，所述PPL用于指示对应所述待确定数据为不确定所述口语化数据的程度；

去除所述第一数据中PPL大于或等于PPL阈值的所述待确定数据，得到所述第二数据。

3.根据权利要求1或2所述方法，其特征在于，所述方法还包括：

将所述第二数据作为训练样本加入训练集；

利用所述训练集包含的训练样本，优化训练所述数据模型。

4.根据权利要求3所述方法，其特征在于，所述方法还包括：

确定所述训练集是否达标；

所述获取预备输出的第一数据，包括：

响应于所述训练集未达标，获取预备输出的所述第一数据；

所述利用所述第二数据优化训练所述数据模型，包括：

响应于所述训练集未达标，利用所述训练集包含的训练样本继续训练所述数据模型。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

输出所述训练集中的训练样本，并检测针对于所述训练样本的达标指示操作；

若检测到所述达标指示操作，确定对应的所述训练样本达标；

所述确定所述训练集是否达标，包括：

确定所述训练集中达标的所述训练样本的数量是否达到数量阈值；

当所述训练集中达标的所述训练样本的数量达到所述数量阈值时，确定所述训练集达标。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述训练集达标时，停止所述数据模型的优化训练。

7.根据权利要求1或2所述的方法，其特征在于，所述获取预备输出的第一数据，包括：

获取人机对话场景下设备预备输出的对话数据。

8.一种数据处理装置，其特征在于，包括：获取模块、筛选模块和输出模块，其中，

所述获取模块，用于获取预备输出的第一数据；

所述筛选模块，用于利用使用口语化数据训练得到的数据模型，对所述第一数据中非口语数据进行清洗得到第二数据；

所述输出模块，用于输出所述第二数据。

9.根据权利要求8所述装置，其特征在于，所述筛选模块，包括：

筛选子模块，用于采用所述数据模型确定所述第一数据中待确定数据的困惑度PPL，其中，所述PPL用于指示对应所述待确定数据为不确定所述口语化数据的程度；

去除所述第一数据中PPL大于或等于PPL阈值的所述待确定数据，得到所述第二数据。

10.根据权利要求8或9所述装置，其特征在于，所述装置还包括：

训练模块，用于将所述第二数据作为训练样本加入训练集；

利用所述训练集包含的训练样本，优化训练所述数据模型。

11.根据权利要求10所述装置，其特征在于，所述装置还包括：

确定模块，用于确定所述训练集是否达标；

所述获取模块，包括：

获取子模块，用于响应于所述训练集未达标，获取预备输出的所述第一数据；

所述训练模块，包括：

响应于所述训练集未达标，利用所述训练集包含的训练样本继续训练所述数据模型。