[发明专利]面向大数据分析的洋葱式数据组织方法及系统

说明书

本发明提供了一种面向大数据分析的洋葱式数据组织方法及系统，包括：针对目标对象，建立洋葱式层次化描述模型，将目标属性分为若干层次，由内至外标注为核心层、内核层、重要层、次要层、外层等；各层设置相应的权值，表示该类属性对目标对象的重要程度，权值越大，重要性越高；其次，对采集到的与目标对象关联的数据，定义洋葱式层次化模型中各层次的内涵及数据属性，对数据各层次属性进行量化描述。最后，确定数据于目标对象的层级，根据模型的权值和数据量化值，计算数据的洋葱值，并判定在数据描述模型中所属层级。本发明中的方法解决大数据条件下针对目标对象的海量数据的组织归类问题，加快数据的分类检索速度，提升数据挖掘分析的效率。

技术领域

本发明涉及大数据分析技术领域，具体地，涉及面向大数据分析的洋葱式数据组织方法及系统。

背景技术

随着信息技术，特别是网络技术的不断发展，以互联网为代表的网络化已在社会的各个层面、各个行业展开，突破了时间和空间的限制，全球数据正以惊人的速度增长，人类社会正由IT时代进入DT时代，数字化改变了消费者的行为模式、价值观念，改变了企业的商业模式和运营模式。Gartner研究表明，每天我们产生超过2.5EB的数据，已进入E级时代，专家预测，到2020年，全球数据总量将超过40ZB。据统计，谷歌公司每天要处理超过24PB的数据，其数据量是美国国家图书馆所有纸质出版物所含数据的上千倍；FaceBook每天更新的照片量超过1000万张，每天人们在网站上点击“喜欢”按钮或者写评论超过30亿次；YouTube视频网站每月接待多达8亿的访客，平均每一秒就会有一段长度在一小时以上的视频上传；微信，作为我们身边使用最多的社交媒体，每月活跃用户已达到5.49亿，用户覆盖200多个国家、超过20种语言，每天的数据量中光音频聊天数据就超过2.8亿分钟；新浪微博在短短的三年多时间里已有注册用户近5亿。

大数据的出现和发展，给我们的生活带来巨大便利。同时，数据的多样性、复杂性以及庞大体量也使数据分析处理面临前所未有的挑战，如何更好地管理和利用大数据已成为普遍关注的话题。近些年出现了以Hadoop为代表的一批大数据平台及相关的并行处理技术，但却始终缺乏更为有效的数据组织形式，这对数据的分析利用带来很大阻碍，其大量性(Volume)、多样性(Variety)、高速性(Velocity)和价值性(Value)的特征，使得人们分析数据面临越来越多的挑战。首先是数据复杂性的挑战，大数据的数据类型和模式具有更多的多样性，联系也较为复杂，数据的质量良莠不齐，造成数据在理解、计算与表达上面临了相当大的困难，语义的分析与情感的体会也变得非常复杂，很大程度上影响了数据组织模型的设计与制作。其次是计算复杂性的挑战，大数据的上述特点使得以往的机器学习、信息搜索以及数据收集得不到当前大数据的有效支持，不能够进行全局式的数据分析与计算，因而需要在计算时适时脱离传统计算的束缚。第三是系统复杂性的挑战，当前，即使是Hadoop等大数据处理平台，在面临数据大、结构复杂的情况下也会存在计算周期长、难度较高的问题，这一问题不仅给大数据处理系统的整体结构、计算机构以及计算方式提供更加严峻的挑战，同时也在数据处理系统的运行速度及其耗能方面都造成了巨大的挑战。

因此，将大数据的复杂本性定量化，有效研究数据所包含的内在问题，梳理各个数据之间存在的内部联系，对复杂的模型系统进行有效的解析，降低其复杂程度，可在一定程度上帮助我们理解复杂的大数据模型，了解其所具有的本质特征，进而更好的获得抽象化的知识信息。在大数据的求解过程中，着眼数据生命周期，以数据为中心，在上述数据复杂本性定量化的基础上，研究相应有效的计算模型，合理改善数据计算模式，建立起更为规范化的数据模式，对大数据的相关理论进行深入研究，不断探索充足的数据，进行分层分类计算。

本发明提出了一种面向大数据分析的洋葱式数据组织方法，针对具体主体目标，将主体目标属性层级化，将基于该主体目标的数据定量化后进行分层管理，为大数据条件下数据的组织归类提供了参考，有效解决了海量数据的组织管理问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向大数据分析的洋葱式数据组织方法及系统。