[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

说明书

本申请提供一种数据处理方法、装置、电子设备及计算机可读存储介质，属于计算机技术领域。数据处理方法，包括：获取待存储数据集；基于预设分类模板中的关键词对所述待存储数据集中的数据进行分类，得到多个分类结果，其中，同一个分类结果下的不同数据具有相同的关键词；存储所述多个分类结果，并针对每一个分类结果，基于该分类结果的存储地址和预设唯一标识符生成索引。利用分类模板对待存储数据集中的数据进行分类，并将分类得到的每一种分类结果分别进行存储，且基于每一个分类结果的存储地址和预设唯一标识符生成索引，从而在需要查找数据时，可以直接根据索引查找到对应的分类结果，无需进行全局查找，从而提高了查找效率。

技术领域

本申请涉及计算机的技术领域，具体而言，涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

目前，在采集得到数据后，通常是直接存储至数据库中，在需要使用数据时，直接从数据库中调用即可。但是，此种方式使得在从数据库中调用数据时，需要在数据库中全局查找数据，导致查找效率低。

发明内容

本申请提供一种数据处理方法、装置、电子设备及计算机可读存储介质，以解决现有技术从数据库中调用数据时，需要在数据库中全局查找数据，导致查找效率低的问题。

第一方面，本申请提供一种数据处理方法，包括：获取待存储数据集；基于预设分类模板中的关键词对所述待存储数据集中的数据进行分类，得到多个分类结果，其中，同一个分类结果下的不同数据具有相同的关键词；存储所述多个分类结果，并针对每一个分类结果，基于该分类结果的存储地址和预设唯一标识符生成索引，其中，不同的分类结果的存储地址不同。

本申请实施例中，利用分类模板对待存储数据集中的数据进行分类，并将分类得到的每一种分类结果分别进行存储，且基于每一个分类结果的存储地址和预设唯一标识符生成索引，从而在需要查找数据时，可以直接根据索引查找到对应的分类结果，无需进行全局查找，从而提高了查找效率。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述获取待存储数据集，包括：获取当前空闲线程；调用空闲线程采集数据，得到待存储数据集。

本申请实施例中，通过调用当前空闲线程来采集数据，可以对空闲线程进行充分利用，提高采集数据的效率。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述获取待存储数据集，包括：对采集得到的数据进行标准化处理，标准化处理后的数据具有相同数据格式；对标准化处理后的数据进行数据清洗，得到待存储数据集。

本申请实施例中，将采集得到的数据进行标准化处理，便于后续对该数据进行处理，而对标准化后的数据进行数据清洗，可以去除无效数据，防止将无效数据存储至数据库中。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述方法还包括：提取所述待存储数据集的关键词；将所述关键词更新至所述分类模板中，得到更新后的分类模板。

本申请实施例中，通过提取待存储数据集中的关键词对分类模板进行更新，可以使后续对数据进行分类时，可以得到更加准确的分类结果。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，利用分布式数据库存储所述待存储数据集，所述存储所述多个分类结果，包括：针对每一个分类结果，获取该分类结果对应的数据传输协议；在基于所述数据传输协议确定需要对该分类结果进行加密时，对该分类结果加密；将加密后的该分类结果传输至所述分布式数据库中对应的局部数据库进行存储。

本申请实施例中，基于分类结果对应的数据传输协议来确定该分类结果是否需要加密，在确定需要进行加密时，将该分类结果进行加密，并将加密后的分类结果传输至局部数据库中，从而提高分类结果的安全性。