[发明专利]一种大数据资产管理系统

说明书

技术领域

本发明涉及大数据技术领域，特别是涉及一种大数据资产管理系统。

背景技术

互联网的飞速发展催生了信息爆炸时代提前到来，电信行业、政府部门、金融领域、零售业和物流领域等产生的数据浩如烟海。在大数据领域，像hadoop、spark、storm等这些炙手可热的新技术或是各种高级分析算法都是在数据得到有效治的基础上才能发挥其作用。

数据资产管理(Data asset management，DAM)是规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。对于一个大数据中心来说，最大的成本浪费并非是昂贵的设备，高精尖的数据人才，而是在错误的数据基础上，做了复杂的数据分析统计等工作。如果连数据前提都是错的，那任何投入都没有价值，成本将会永无上限。现有技术中，偏重与对数据的采集、清洗和分析，缺乏对数据的有效管理，导致结构化、内外部数据混搭，数据的可靠性得不到保证。

可见，如何提升数据资产管理的可靠性，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种大数据资产管理系统，可以提升数据资产管理的可靠性。

为解决上述技术问题，本发明实施例提供一种大数据资产管理系统，包括第一交换机、结构化数据处理器、非结构化数据处理器和应用服务器，

所述第一交换机与所述应用服务器连接，用于获取外部数据，对所述外部数据进行处理，并将处理后的外部数据发送至所述应用服务器；所述外部数据包括结构化数据和非结构化数据；

所述应用服务器，用于接收处理后的所述外部数据，并依据用户输入的信息，向所述结构化处理器或所述非结构化处理器发送相关的数据分析指令；

所述结构化处理器，用于依据接收到的所述数据分析指令，对所述结构化数据进行存储、计算，并将计算结果发送至所述应用服务器；

所述非结构化处理器，用于依据接收到的所述数据分析指令，对所述非结构化数据进行存储、计算，并将计算结果发送至所述应用服务器。

可选的，还包括配置库，

所述应用服务器与所述配置库连接，还用于对处理后的所述外部数据进行分析，获取对应的元数据和元数据规则，并将所述元数据以及所述元数据规则发送至所述配置库；

所述配置库，用于接收并存储所述元数据以及所述元数据规则。

可选的，所述应用服务器还用于统计所述元数据的使用频率，当所述元数据的使用频率低于预设阈值，则将所述元数据从所述配置库中删除。

可选的，还包括第二交换机和管理机，

所述第二交换机与所述管理机连接，用于获取内部数据，并将所述内部数据发送至所述管理机；

所述管理机，用于对所述内部数据进行分析，当所述内部数据不符合预设条件时，则进行报警提示。

可选的，所述第一交换机为万兆交换机。

可选的，所述第二交换机为千兆交换机。

可选的，所述结构化数据处理器采用分布式MYSQL系统。

可选的，所述非结构化数据处理器采用HBASE系统。

由上述技术方案可以看出，通过第一交换机可以获取到外部数据，第一交换机与应用服务器连接，可以将处理后的外部数据发送至所述应用服务器，其中，外部数据可以划分为结构化数据和非结构化数据。应用服务器可以依据用户输入的信息，向结构化处理器或非结构化处理器发送相关的数据分析指令；结构化处理器可以依据接收到的所述数据分析指令，对所述结构化数据进行存储、计算，并将计算结果发送至所述应用服务器；非结构化处理器可以依据接收到的所述数据分析指令，对所述非结构化数据进行存储、计算，并将计算结果发送至所述应用服务器。可见，通过该技术方案可以对结构化和非结构化数据分类处理，提升了数据资产管理的可靠性。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种大数据资产管理系统的结构示意图；

图2为本发明实施例提供的一种大数据资产管理系统的架构图。

具体实施方式