[发明专利]数据处理方法和服务器集群有效
申请号: | 201911403723.5 | 申请日: | 2019-12-30 |
公开(公告)号: | CN111159107B | 公开(公告)日: | 2023-03-21 |
发明(设计)人: | 梁秀钦;白格日乐图;王俊威;齐云飞;丁杰超 | 申请(专利权)人: | 北京明略软件系统有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/16;G06F16/182 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 吴迪 |
地址: | 100000 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 服务器 集群 | ||
1.一种数据处理方法,其特征在于,应用于区域分析系统中的第一节点,所述方法包括:
获取多个轨迹数据中每个轨迹数据对应的时空特征;
根据所述时空特征中的空间信息,对所述多个轨迹数据中的每个轨迹数据进行分类,得到所述多个轨迹数据中的每个轨迹数据对应的分片索引数据;其中,所述空间信息包括区域描述信息和空间描述信息;
对所述多个轨迹数据中的每个轨迹数据的时空特征进行编码,得到时空特征编码;
根据所述分片索引数据以及所述时空特征编码,为所述多个轨迹数据生成至少一个索引文件,同一个所述索引文件内的所有时空特征编码对应同一个分片索引数据;
将所述至少一个索引文件分配给所述区域分析系统中的至少一个第二节点,以供每个所述第二节点对所述索引文件进行存储;
向所述至少一个第二节点发送区域分析任务,以供所述至少一个第二节点中的每个第二节点根据所述区域分析任务确定目标分片索引数据,并读取所述目标分片索引数据对应的索引文件,并对读取到的所述目标分片索引数据对应的索引文件内存储的各个时空特征编码进行解析,以得到区域分析结果;
接收所述至少一个第二节点中的任意节点发送的区域分析结果;
对接收到的区域分析结果进行汇总并存储。
2.根据权利要求1所述的方法,其特征在于,所述时空特征还包括时间信息,所述对所述多个轨迹数据中的每个轨迹数据进行分类,得到所述多个轨迹数据中的每个轨迹数据对应的分片索引数据,包括:
对于所述多个轨迹数据中的每个轨迹数据,根据所述时空特征中的空间信息确定区域标签,以及根据所述时空特征中的时间信息确定时间标签;
基于所述区域标签和所述时间标签,生成所述多个轨迹数据中的每个轨迹数据对应的分片索引数据。
3.根据权利要求1所述的方法,其特征在于,所述时空特征还包括时间信息、活动次数,所述对所述多个轨迹数据中的每个轨迹数据的时空特征进行编码,得到时空特征编码,包括:
根据所述空间信息、所述时间信息以及所述活动次数,对所述多个轨迹数据中的每个轨迹数据的时空特征进行编码,得到预设字节的时空特征编码。
4.一种数据处理方法,其特征在于,应用于区域分析系统中的多个第二节点中的任一节点,所述方法包括:
接收所述区域分析系统中的第一节点发送的至少一个索引文件,每个所述索引文件包括至少一个时空特征编码,同一所述索引文件内的所有时空特征编码对应同一个分片索引数据;其中,所述分片索引数据是所述第一节点根据每个轨迹数据的时空特征中的空间信息进行分类确定的,所述时空特征编码是所述第一节点根据每个轨迹数据的时空特征进行编码得到的;所述空间信息包括区域描述信息和空间描述信息;
根据每个索引文件对应的分片索引数据,对所述第一节点发送的每个索引文件进行存储;
响应所述第一节点的区域分析请求,根据所述区域分析请求确定目标分片索引数据;
加载并读取所述目标分片索引数据对应的索引文件;
对读取到的所述目标分片索引数据对应的索引文件内已存储的各个时空特征编码进行解析,得到区域分析结果;
将所述区域分析结果发送给所述第一节点,以供所述第一节点根据所述区域分析结果进行汇总处理。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对同一分片索引数据对应的多个所述索引文件进行排序。
6.根据权利要求4所述的方法,其特征在于,所述对读取到的所述目标分片索引数据对应的索引文件内已存储的各个时空特征编码进行解析,得到区域分析结果,包括:
对于读取到的索引文件中已存储的每个时空特征编码,提取指定字节的编码内容以进行解析,得到所述区域分析结果。
7.根据权利要求4所述的方法,其特征在于,所述根据所述区域分析请求确定目标分片索引数据,包括:
根据所述区域分析请求确定空间标签和时间标签;
基于所述空间标签和时间标签确定所述目标分片索引数据。
8.一种服务器集群,其特征在于,包括多个服务器,所述多个服务器中的任一服务器用于执行权利要求1-3任一项所述的方法或权利要求4-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明略软件系统有限公司,未经北京明略软件系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911403723.5/1.html,转载请声明来源钻瓜专利网。