[发明专利]一种基于二维地理位置信息的数据集分片方法

摘要

本发明公开了一种基于二维地理位置信息的数据集分片方法，包括(1)将每条数据的二维的地理位置信息转化为2进制geoHash值；(2)依据geoHash值进行分片，每个分片有公共的geoHash前缀，并在分片的过程中建立或更新片索引；(3)当有新增数据时，在索引中查找与新增数据具有最长公共geoHash前缀的片，然后将数据插入到该片中，若数据插入导致片的大小超过设定值，则按照(2)对片进行分裂。本发明利用将二维地理位置信息转化为geoHash值后进行数据分片，能尽量的保证地理位置上相邻的数据被分在相同的片上，对基于地理位置的分布式应用有很好的优化作用。

主权项

一种基于二维地理位置信息的数据集分片方法，所述的数据集中每条数据均含有关于经度和纬度的二维地理位置信息，所述的数据集分片方法包括如下步骤：(1)将数据集中每条数据的二维地理位置信息转换为二进制的GeoHash值；(2)根据所述的GeoHash值对数据集进行分片且每个片中的数据具有公共的GeoHash前缀，并在分片过程中建立并更新片的索引树；其中对数据集进行分片的具体过程如下：初始时，新建一个片作为父片，将数据集中所有数据放入父片中，且令父片的公共GeoHash前缀为null；此时，若父片的大小未超过预设的上限值M，则分片结束；若父片的大小超过上限值M，则对父片进行分裂：将父片分成两个子片A0和A1，令子片A0的公共GeoHash前缀为0，子片A1的公共GeoHash前缀为1；进而根据二进制GeoHash值的首位编码，将父片中的所有数据分配至子片A0和A1中，即GeoHash值首位编码为0的数据分配至子片A0中，GeoHash值首位编码为1的数据分配至子片A1中；分配完毕后，判断子片A0和A1的大小是否超过上限值M：若均未超过，则分片结束；若子片Ai的大小超过上限值M，则使子片Ai作为父片并对其进行分裂：将父片Ai分成两个子片Ai0和Ai1，i为0或1，令子片Ai0的公共GeoHash前缀为i0，子片Ai1的公共GeoHash前缀为i1；进而根据二进制GeoHash值的第二位编码，将父片Ai中的所有数据分配至子片Ai0和Ai1中，即GeoHash值第二位编码为0的数据分配至子片Ai0中，GeoHash值第二位编码为1的数据分配至子片Ai1中；分配完毕后，进而判断子片Ai0和Ai1的大小是否超过上限值M，若仍存在大小超过上限值M的子片，则根据以上操作继续对该子片进行分裂，直至所有子片大小都在上限值M以下，则分片结束；(3)当数据集有新增数据时，从所述的索引树中查找出与该新增数据具有最长公共GeoHash前缀的片，并将该新增数据插入该片中；若插入新增数据后，该片的大小超过预设的上限值，则对该片进行分裂并更新索引树。