[发明专利]基于Kudu的数据分析装置和方法

说明书

本发明公开了基于Kudu的数据分析装置和方法，属于数据分析技术领域，本发明要解决的技术问题为如何提升Kudu的数据分析能力，满足大数据时代人们对于数据信息越来越高的需求，同时提升Kudu的索引定位精度，采用的技术方案为：该装置包括图谱数据导入模块、建模管理控制模块、图谱引擎模块及智能服务模块；图谱数据导入模块用于从Kudu系统中存储的数据获取，并根据建模管理控制模块中的对象、属性、关系为核心要素的本体数据模型定义实现外部结构化数据及非结构化数据的多源异构数据的融合；图谱引擎模块用于提供图谱数据存储引擎和索引数据存储引擎。本发明还公开了一种基于Kudu的数据分析方法。

技术领域

本发明涉及数据分析领域，具体地说是一种基于Kudu的数据分析装置和方法。

背景技术

随着计算机技术领域的不断发展，数字化几乎渗透了所有领域，如今的数据不仅有来自智能终端设备的数据，还有大量来自物联网智能硬件等各式各样的结构化或非结构化的海量数据，存储的数据量不断地加大，一般通过在数据中心部署Kudu分布式存储系统来解决海量数据的存储问题。

近年来，随着智慧城市、智慧医疗、智慧交通等的快速发展，人们不仅仅只关注数据本身，开始构建一个个庞大的数据网络，将各个数据信息联系起来，而Kudu分布式存储系统中的数据分析能力已经不能够满足日益增长的数据处理需求。

故如何提升Kudu的数据分析能力，满足大数据时代人们对于数据信息越来越高的需求，同时提升Kudu的索引定位精度是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于Kudu的数据分析装置和方法，来解决如何提升Kudu的数据分析能力，满足大数据时代人们对于数据信息越来越高的需求，同时提升Kudu的索引定位精度的问题。

本发明的技术任务是按以下方式实现的，一种基于Kudu的数据分析装置，该装置包括，

图谱数据导入模块，用于从Kudu系统中存储的数据获取，并根据建模管理控制模块中的对象、属性、关系为核心要素的本体数据模型定义实现外部结构化数据及非结构化数据的多源异构数据的融合，即完成对在Kudu系统中对象数据的获取与融合；

建模管理控制模块，用于以对象、属性、关系为核心要素建立统一的本体数据模型，从管理视角直观查看模型定义的模型视图，建立物理数据表到本体数据模型中对象、属性、关系映射的源数据建模以及高级搜索配置的管理功能；

图谱引擎模块，用于提供图谱数据存储引擎和索引数据存储引擎，将分析处理后的大数据根据对象、属性和关系的示例数据进行存储，并存储索引数据；

智能服务模块，用于为用户提供额外的智能功能。

作为优选，所述智能服务模块提供的额外的智能功能包括基于知识图谱技术的智能搜索、图谱展现、关联分析及图谱统计。

更优地，所述本体数据模型的功能包括定义对象类型、定义关系类型和定义属性类型；

其中，定义对象类型是指对一个对象详细信息的定义；对象详细信息包括对象名称、队形URI、对象属性和子对象的定义；

定义属性类型是指定义对象基本属性；对象的基本属性定义包括定义属性显示标题、URI、数据格式、数据格式、数值类型及同义词；

定义关系类型是指定义关系分类、关系类型以及关系的属性信息。

更优地，新建对象类型、关系类型和属性类型的配置入口有如下两种情况：

①、本体数据模型：通过本体数据模型管理中的对象类型、属性类型和关系类型，新建业务逻辑对象、属性及关系；

②、数据源：新建物理表到对象及关系的映射信息。

更优地，该装置的工作过程具体如下：