[发明专利]一种社区信息处理方法及系统

说明书

本发明提出了一种社区信息处理方法及系统，包括：将社区居民信息以家庭为单位整合为图结构；将图结构的根结点作为索引存储并将索引地址映射于缓存服务器中；在检索社区居民信息时，通过索引关键字，访问索引在缓存服务器中的位置，基于该位置获取所需信息。本发明在社区应用场景中能够更好地利用居民之间的家庭关系优化居民信息的存储与检索过程，并且GH‑DCA所采用的一致性Hash算法具有优秀的扩展性与容错性。

技术领域

本发明属于大数据的处理技术领域，尤其涉及一种社区信息处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

数据处理技术是大数据相关技术的一个重要分支，其目的在于对现实世界中存在的对象建立相应的数据模型，并以该模型为基础将现实世界中对象的相关信息转化并存储至数据库中以进行管理。此外，数据的读取过程同样以上述模型为通道，将所读取到的对象信息转化为现实世界中可理解的语言。而数据处理技术的性能取决于数据存储以及传输的效率。

早期的数据处理技术以关系型数据库为主，通过严格设置的数据模型将现实世界中存在的对象以及相应的特征转化为数据并对其进行操作。如果数据库范式处理得当，那么数据库能够以较小的冗余加速数据的管理过程。然而现实世界中的对象关系并非一成不变，与此同时近年来用于业务对接的数据量呈TB级增长，以往的小容量且数据关系受到局限的数据库不再满足需求，于是非关系型数据库的相关管理技术应运而生。而HBase数据库是非关系型数据库的典型代表，HBase数据库使用列的形式对数据进行管理，能够适应数据结构复杂多变的情况。与关系型数据库相比，HBase数据库在随机查询、多表关联、历史数据分析等具体应用场景中能够保证较高的效率与实时性。

然而，HBase数据库本身虽然能够以列簇的形式扩展数据之间的关系，但并不能有效地利用这些显式关系对存储结构以及检索过程作出进一步优化。

特别地，在本发明所涉及到的社区服务场景中，社区居民信息的检索通常以人为单位进行，一旦涉及到基于家庭信息的检索，社区数据库的查询效率将会骤减。

通常来讲，居民信息中家属信息的检索过程如下所示：首先，将居民信息中与家属信息相关的关键字提取出来，其次再以关键字为基准再次进行居民信息的查找，并且继续循环上述步骤，直至当前居民的家属集合不再被扩充。经过上述步骤，当前居民的所有家庭成员的信息被检索出来。但上述的检索过程会因为检索深度的增加导致时间复杂度陡增，不利于实时性的业务对接。此外，由于居民信息中的家属关系信息是相对称的(例如互为父子关系的社区居民)，很多冗余的家属关系信息被重复存储于数据库中，造成了存储资源的浪费，不利于后期数据的延展与扩充。

一般地，在社区居民信息检索过程中，首先将家属关系图所对应的索引写入缓存中，其次再通过对缓存中的索引进行读取，从而逐步对各个索引所对应的家属关系图进行检索操作，以查找符合查询条件的社区居民及其家属信息。在索引写入缓存的过程中，其地址分配往往是随机的，这就导致检索过程中索引本身的调用过程不可控制，从而使检索效率下降。因此通常采用Hash算法建立索引与缓存服务器之间的映射关系，通过索引关键字，索引在缓存中的位置能够被快速地访问到，进而加速居民信息以及家属信息的检索过程。但Hash算法的弊端在于不能很好地适应缓存服务器的部署变化，一旦社区服务类应用因为存储需求或性能需求需要改换或增添缓存服务器，那么索引的相对地址将会发生改变，存储于其中的大量缓存数据则需要再次通过Hash算法重新建立映射，与此同时服务器的计算压力将会剧增。

发明内容

为克服上述现有技术的不足，本发明提供了一种社区信息处理方法，基于图结构与Hash的数据压缩算法以实现社区居民信息的存储过程与检索效率的优化。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了一种社区信息处理方法，包括：