[发明专利]基于大数据的数据优化方法及云服务器

说明书

本申请的基于大数据的数据优化方法及云服务器，基于多个第一样本业务数据，对第一业务数据识别模型进行训练，得到第二业务数据识别模型，多个第一样本业务数据包括多种数据交互场景下的业务数据，第二业务数据识别模型中包括多种数据交互场景对应的多个目标业务交互状态的用户业务需求信息；基于多个第二样本业务数据，对第二业务数据识别模型进行训练，得到业务数据清洗模型，多个第二样本业务数据为目标数据交互场景下的业务数据，训练过程中业务数据清洗模型获取得到多个第二样本业务数据的业务数据挖掘信息，多个第二样本业务数据的业务数据挖掘信息至少包括目标数据交互场景对应的多个目标业务交互状态的用户业务需求信息。

本申请是申请号为“202110165617.9”、申请日为“2021年02月06日”、申请名称为“应用于大数据挖掘和业务分析的数据清洗方法及云服务器”的分案申请。

技术领域

本申请涉及大数据技术领域，特别涉及一种基于大数据的数据优化方法及云服务器。

背景技术

数据清洗(Data cleaning)是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。通俗地讲，数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是业务处理过程中不需要的，称为“脏数据”。一般而言，“脏数据”主要是有不完整的数据、错误的数据、重复的数据三大类。

随着大数据时代的快速发展，大数据挖掘、大数据分析以及云业务处理通常处于协同运行的状态，数据服务器作为中间节点，不仅承担着数据传输的工作，同样还承担着数据清洗的工作，但是相关的数据清洗技术存在些许问题，比如数据清洗精准度较差，数据清洗结果难以满足实际业务需求等。而这些问题可能会影响到一些正常的云业务处理，因此，如何改善相关的数据清洗技术是现目前需要考虑的一个问题。

发明内容

本申请实施例之一提供一种基于大数据的数据优化方法，应用于云服务器，所述云服务器预先部署有网络模型，所述云服务器与业务服务端通信连接，用以向所述业务服务端输送完成清洗的业务数据，所述方法包括：基于多个第一样本业务数据以及多个第二样本业务数据进行模型训练，得到业务数据清洗模型；在获取到待清洗业务数据时，通过调用所述业务数据清洗模型，并根据所述业务数据清洗模型训练过程中得到的业务数据挖掘信息，对所述待清洗业务数据进行数据清洗，得到数据清洗结果；其中，所述待清洗业务数据对应一个数据交互场景。

本申请实施例之一提供一种云服务器，包括处理引擎、网络模块和存储器；所述处理引擎和所述存储器通过所述网络模块通信，所述处理引擎从所述存储器中读取计算机程序并运行，以执行上述的方法。

本发明实施例通过以多种数据交互场景下的业务数据对业务数据识别模型进行训练，使得业务数据识别模型具备了关于数据交互场景的先验信息，在需要对某种数据交互场景下的业务数据进行清洗时，直接基于这种数据交互场景下的业务数据对训练后的模型进行训练即可，而无需手动对这种数据交互场景下的业务数据进行分析，再基于业务数据分析结果进行模型的重新调整，且上述方法得到的业务数据清洗模型则可以对这种数据交互场景下的业务数据进行精准可靠的业务数据清洗，有效提高了基于大数据的数据优化方法的泛化能力和可靠性，也有效提高了基于大数据的数据优化方法的准确性。