[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、设备及存储介质，方法包括：获取静态实名数据包括的目标物的身份信息，以及静态实名数据中不同属性的数据分别对应的第一属性标签；获取动态实名数据包括的目标物的身份信息，以及动态实名数据中不同属性的数据分别对应的第二属性标签；对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签；将每一个合并处理后的实名数据、每一未合并处理的静态实名数和动态实名数据，分别确定为一个实名类数据。应用本申请实施例提供的技术方案，提高了数据质量。

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据处理方法、装置、设备及存储介质。

背景技术

目前，大数据成为一种重要的信息资产，大数据具有如下特点：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低。很多用户都需要获取大数据，并对大数据进行分析处理。

相关方案中，大数据的来源较复杂，导致获取的大数据质量较差，比如重复数据、无效数据较多。目前亟需一种数据处理方案，以提高数据质量。

发明内容

本申请实施例的目的在于提供一种数据处理方法、装置、设备及存储介质，以提高数据质量。

为达到上述目的，本申请实施例提供了一种数据处理方法，包括：

获取静态实名数据包括的目标物的身份信息，以及所述静态实名数据中不同属性的数据分别对应的第一属性标签；

获取动态实名数据包括的目标物的身份信息，以及所述动态实名数据中不同属性的数据分别对应的第二属性标签；

对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据；

将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。

可选的，所述方法还包括：

对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并所述其他身份信息中剩余的身份数据和所述最新身份信息中的身份数据，所述实名数据为静态实名数据或动态实名数据，所述最新身份信息为该实名数据中时间最近的身份信息，所述其他身份信息为该实名数据中除所述最新身份信息外的身份信息。

可选的，每一目标物的身份信息包括该目标物的特征信息；所述方法还包括：

获取实时抓拍数据以及获取所述实时抓拍数据的关联信息；

提取所述实时抓拍数据中包括的抓拍物的目标特征信息；

检测所述实名类数据中是否存在目标实名类数据，所述目标实名类数据包括与所述目标特征信息匹配的特征信息；

若存在所述目标实名类数据，则在所述目标实名类数据中所述关联信息对应的目标属性标签下添加所述关联信息；

若不存在所述目标实名类数据，则将所述目标特征信息和所述关联信息对应的添加至匿名类库中，所述匿名类库用于存储匿名类数据，所述匿名类数据包括身份信息未知的抓拍物的数据。

可选的，所述将所述目标特征信息和所述关联信息对应的添加至匿名类库中的步骤，包括：

检测匿名类库中是否存在第一目标匿名类数据，所述第一目标匿名类数据包括与所述目标特征信息匹配的特征信息；