[发明专利]非结构化数据入湖方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理技术，揭露一种非结构化数据入湖方法，包括：生成待处理数据的包括数据键值、数据版本及数据有效性的扩展元数据，数据写入时，利用所述数据键值及所述数据版本对已有数据进行数据查重校验，校验通过则将待处理数据存储到预设的数据存储空间、将待处理元数据及扩展元数据存储到预设的元数据存储空间，设置待处理数据的数据有效性为有效，数据变更或删除时，利用所述数据键值及所述数据版本对已有目标对象进行定位，将所述目标对象的数据有效性设置为无效，数据变更操作与数据写入操作相同，数据删除时，则删除所述目标对象。本发明还提出一种非结构化数据入湖装置、设备以及介质。本发明可以提升非结构化数据管理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种非结构化数据入湖方法、装置、电子设备及计算机可读存储介质。

背景技术

当前非结构化数据存储主要有两种方式：

第一种方式为将原始非结构化数据文件写入数据湖的分布式存储系统中，这种方式的缺点是缺少文件的元数据信息(文件的基本信息，如文件归属、文件使用范围、文件描述信息等)，无法通过元数据查找到文件，容易形成“数据沼泽”。

第二种方式为将原始非结构化文件及其元数据分别入湖，文件写入分布式文件系统HDFS，元数据写入Hive数据仓库并保存文件存放路径，通过HiveSQL检索元数据信息来找到文件存放地址。这种方式也存在如下缺点：

1、Hive检索元数据慢；

2、无法修改元数据信息；

3、不支持模糊搜索元数据；

4、非结构化文件及元数据分别写入数据湖的不同存储系统，现有技术缺少数据有效性保证，如写元数据成功而写文件失败，导致数据错误；

5、缺少结构化数据入湖的标准数据管理难等问题。

因此，亟待改进非结构化数据入湖方法，提升非结构化数据管理效率。

发明内容

本发明提供一种非结构化数据入湖方法、装置、电子设备及计算机可读存储介质，其主要目的在于提升非结构化数据管理效率。

为实现上述目的，本发明提供的一种非结构化数据入湖方法，包括：

获取数据处理请求，解析所述数据处理请求得到待处理数据、待处理元数据及处理类型；

生成所述待处理数据的扩展元数据，其中，所述扩展元数据包括数据键值、数据版本及数据有效性；

当所述处理类型为写入时，利用所述数据键值及所述数据版本对预设的存储系统中的已有数据进行数据查重校验，当所述数据查重校验通过时，将所述待处理数据存储到所述预设的存储系统中的数据存储空间、将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统中的元数据存储空间，设置所述待处理数据的数据有效性为有效；

当所述处理类型为变更或删除时，利用所述数据键值及所述数据版本对所述预设的存储系统中的已有目标对象进行定位，将所述目标对象对应的数据有效性设置为无效，将处理类型为变更的待处理数据存储到所述预设的存储系统中的数据存储空间及将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统中的元数据存储空间，设置所述待处理数据的数据有效性为有效，并删除处理类型为删除的所述目标对象。

可选地，所述生成所述待处理数据的扩展元数据，其中，所述扩展元数据包括数据键值、数据版本及数据有效性，包括：

计算所述待处理数据的哈希值，将所述哈希值作为所述待处理数据的数据键值；

判断在预设的存储系统中所述数据键值是否唯一；

当所述数据键值唯一时，则设置所述待处理数据对应的数据版本为第一个版本；