[发明专利]基于神经网络的数据处理装置、方法及可读存储介质

说明书

一种基于神经网络的数据处理方法，包括：将样本数据划分为训练集及测试集；利用训练集训练预设神经网络得到第一检测模型；利用测试集对第一检测模型进行验证得到第一准确率；对训练集及测试集进行清洗；利用清洗后的训练集对经过微调处理的第一检测模型进行训练得到第二检测模型；利用清洗后的测试集对第二检测模型进行验证得到第二准确率；若第一准确率大于第二准确率，则选定第一检测模型为最终模型，否则选定第二检测模型为最终模型，以通过该最终模型对待测数据进行检测。本发明还提供一种数据处理装置及计算机可读存储介质。上述基于神经网络的数据处理装置、方法及计算机可读存储介质，可提高模型的准确率，使得数据处理更高效、准确。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的数据处理装置、方法及计算机可读存储介质。

背景技术

随着大数据时代各行业对数据分析需求的持续增加，机器学习技术得到充足的发展，已被广泛应用于各种生活情境中。在一实际情境中，通过找到样本与标签间的关联性可设计并训练出合适的模型，但是收集到的样本可能会因为环境、样本本身客观缺陷或是人为等因素影响样本在训练时的训练效果，同时也会影响模型的精准度。

发明内容

有鉴于此，有必要提供一种基于神经网络的数据处理装置、方法及计算机可读存储介质，其可提高模型的准确率，使得数据处理高效、准确。

本发明一实施方式提供一种基于神经网络的数据处理方法，包括：将样本数据划分为训练集及测试集；利用所述训练集训练预设神经网络，以训练得到第一检测模型；利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率；根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗；对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型；利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率；判断所述第一准确率是否大于所述第二准确率；若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型；若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型；及将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。

优选地，所述预设神经网络为卷积神经网络，所述训练集的数据量大于所述测试集的数据量。

优选地，所述根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗的步骤包括：

获取用户从数据清洗库中选定的数据清洗方式；及

基于所述选定的数据清洗方式对所述训练集及所述测试集进行清洗；

其中，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式为一种数据清洗方式或多种数据清洗方式的组合。

优选地，所述数据清洗库包括多个数据清洗单元，每一所述数据清洗单元对应一种数据类型，所述方法还包括：

获取所述样本数据的数据类型；及

根据所述样本数据的数据类型输出所述数据清洗单元的选用建议。

优选地，所述对所述第一检测模型进行预设方式的微调的步骤包括：

根据预设调整规则对所述第一检测模型的模型参数进行调整。

优选地，所述模型参数为隐藏层的层数和/或隐藏层的神经元数。

优选地，所述方法还包括：

获取所述样本数据的数据类型；

根据所述样本数据的数据类型获取历史清洗记录中所选用的数据清洗方式；及

推送历史清洗记录中被选用次数排名前预设位的数据清洗方式为建议的数据清洗方式。