[发明专利]一种针对结构化与非结构化数据的服务封装工具及方法

说明书

技术领域

本发明涉及数据封装技术，具体涉及一种针对结构化与非结构化数据的服务封装工具及方法。

背景技术

随着信息技术的不断发展，人类已逐渐步入云计算及大数据时代，而伴随着海量数据而来的就是各种不同格式、不同类型的数据的处理问题，我们通常将数据分为结构化及非结构化两种，而在数据处理过程中，结构化数据往往仅占一小部分，据权威统计，一家企业产生的数据当中有85％是非结构化数据，而只有15％是结构化数据——而在过往的数十年当中，IT产业在数据处理方面的进展主要都是在结构化数据方面，而例如EMAIL、视频及音频文件以及PPT、照片、文档等大量非结构化数据经常是游离于企业的决策环境之外的。

显然，企业需要提高自己的信息管理水平，很重要的一点就是将非结构化数据的管理提升到与结构化数据相同的高度。调查显示，大部分企业认为信息是分散、孤立的，将这些信息有效地连接在一起非常困难，很难依据这些信息做出有效决策。

一般而言，针对结构化或者非结构化数据的服务封装，需要用户针对数据手动实现相应程序代码来完成定制化的开发，从而实现将数据以Json等格式或文件流的方式封装成数据服务。这一传统开发过程显得相对繁琐，在针对大量的数据库服务封装操作时尤为明显，很大程度上限制了数据服务化的效率。为了解决上述问题，需要设计一种通用的面向各种数据类型的封装工具，旨在方便快捷地完成数据的服务化封装过程。

发明内容

针对现有技术存在的缺陷，本发明提供了一种针对结构化与非结构化数据的服务封装方法及封装工具，旨在规范数据封装的过程，并提高数据封装的效率。

为实现上述目的，本发明提供了一种针对结构化与非结构化数据的服务封装方法，包括：

判断目标数据为结构化数据还是非结构化数据；

对于结构化数据，连接对应的数据源，配置数据模型并为数据模型生成thrift服务接口开发包地址和访问接口地址，完成数据封装；

对于非结构化数据，将其上传至服务器端，并生成非结构化数据的服务地址，完成数据封装。

其中，连接对应的数据源包括：

通过用户配置的数据库参数建立数据库连接，当连接通过后，生成相应的数据源并保存。

数据库参数包括：

数据库类型、数据库名、数据库IP地址、数据库端口号、用户名、密码中的一种或多种。

其中，数据库为Oracle、MySQL、达梦中的一种，建立数据库连接为JDBC连接。

配置数据模型包括：

给予用户数据操作权限；

根据用户指令，对目标数据的表格或视图进行操作，提取所需的字段并进行相关配置；

生成相应的数据模型。

对已创建的数据模型允许通过cpp.h框架代码和java接口进行压缩包下载。

所述结构化数据包括：能以JSON格式或二维表结构表示的数据；所述非结构化数据包括：各种格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息中的一种或多种。

生成非结构化数据的服务地址包括：将非结构化数据上传后在服务器端的路径地址作为非结构化数据的服务地址。

针对文件服务器端的内存、CPU、外存、文件数、文件读写速度各项指标进行监控，并通过Web页面展现。

另外，本发明还提供了一种针对结构化与非结构化数据的服务封装工具，所述工具包括：

判断模块，用于判断目标数据为结构化数据还是非结构化数据；

结构化数据封装模块，用于完成结构化数据的封装；

非结构化数据封装模块，用于完成非结构化数据封装。

其中，结构化数据封装模块包括：

连接单元，用于实现结构化数据对应数据源的连接；

模型配置单元，用于根据用户需求配置数据模型；

结构化数据地址生成单元，用于为数据模型生成开发包地址和访问接口地址。

非结构化数据封装模块包括：

上传单元，用于将非结构化数据上传至服务器端；

非结构化数据地址生成单元，用于生成非结构化数据的服务地址，完成数据封装。

连接单元还用于：通过用户配置的数据库参数建立数据库连接，当连接通过后，生成相应的数据源并保存。

模型配置单元包括：

权限管理子单元，给予用户数据操作权限；

配置子单元，根据用户指令，对目标数据的表格或视图进行操作，提取所需的字段并进行相关配置；