[发明专利]数据湖schema归类方法、装置、设备、介质及产品

说明书

本申请涉及数据湖schema归类方法、装置、设备、介质及产品，其方法包括创建队列，并初始化；获取至少两个表schema中的所有字段，存储至队列中；使分区schema中的字段依次与队列中的至少两个表schema进行字段类型和字段名称判断；使分区schema中的字段依次与队列中的至少两个表schema的相同的字段进行距离计算；确定距离最小时对应的队列中的表schema，并使分区schema合并至表schema中。解决了当兼容的表schema存在至少2个时，难以确定归类至哪一个表schema的问题。本申请具有将分区schema快速合并至表schema的效果。

技术领域

本申请涉及数据分类技术领域，尤其是涉及数据湖schema归类方法、装置、设备、介质及产品。

背景技术

无人驾驶系统中，包含原始采集的传感器数据、标注数据，日志数据等，这些不同的数据构成了数据湖。每种数据因为每天都在产生，为了管理的方便，通常会按日期、车辆等信息存储在不同的分区中。通常可将数据湖对应的表结构描述信息称为表schema，将数据湖内不同分区对应的表结构描述信息称为分区schema。随着时间的推移，数据在不断演化，不同分区中有不同的分区schema。

为了使用上的方便，可以把不同分区schema中可兼容的分区schema构造成一个统一的表schema。表schema包含哪些字段和每个字段的类型。不同的分区schema存在字段类型不一致、某一分区schema的字段是另一个分区schema字段的增加或删减等情况。每个分区schema也可以构成一个表schema。其中，字段的新增或字段的删除所对应的分区schema能与旧的表schema保持兼容，故能合并至表schema中。

针对上述中的相关技术，发明人认为，当与分区schema可兼容的表schema存在至少2个时，难以确定将分区schema归类至哪一个表schema。

发明内容

为了将字段的新增或字段的删除所对应的分区schema快速合并至兼容的表schema中，本申请提供了数据湖schema归类方法、装置、设备、介质及产品。

第一方面，本申请提供一种数据湖schema归类方法，具有使字段的新增或字段的删除所对应的分区schema快速合并至兼容的表schema的特点。

本申请是通过以下技术方案得以实现的：

一种数据湖schema归类方法，包括以下步骤：

创建用于存储表schema的队列，并初始化；

获取至少两个表schema中的所有字段，存储至所述队列中；

使分区schema中的字段依次与所述队列中的至少两个表schema进行字段类型和字段名称判断，获得所述队列中的相同的字段；

使分区schema中的字段依次与所述队列中的至少两个表schema的相同的字段进行距离计算；

确定距离最小时对应的所述队列中的表schema，并使分区schema合并至所述表schema中。

本申请在一较佳示例中可以进一步配置为：所述使分区schema中的字段依次与所述队列中的至少两个表schema的相同的字段进行距离计算的步骤包括：

初始化所述队列中存储的字段的值为第一阈值；

当分区schema中的字段与所述队列中的字段相同时，使所述队列中对应的字段的值加第一预设值，并将计算结果更新为字段的值；

当分区schema中的字段与所述队列中的字段不同时，分区schema中的字段相对于队列的表schema中的字段是新增，使分区schema中对应的字段加入所述队列中，且使加入的所述字段的值为第二阈值，所述第二阈值不等于所述第一阈值；