[发明专利]一种查询物流数据的方法和系统

说明书

技术领域

本发明涉及数据查询领域，并且更具体地，涉及一种查询物流数据的方法和系统。

背景技术

国家邮政局要求接入全国邮政快递物流信息数据，目前，全国邮政快递业每天的业务数据达到七千万左右，加上一些物流的流转信息，一天数据量达到了10亿左右，一年大概在3000亿的数据量，传统的数据库是关系型数据库，由于数据量逐年递增，导致数据库性能逐年下降，查询效率大大降低，而且数据库每年的维护费用也随着数据量的增长，逐年递增。因此利用传统关系型数据库存已经无法保障查询效率。

发明内容

为了解决背景技术存在的邮政快递物流数据查询效率低、维护成本高的技术问题，本发明提供一种查询物流数据的方法，用于对快递物流数据进行查询，所述方法包括：

将快递物流数据划分为面单数据和状态数据，其中面单数据是快递单上的快递基本信息，状态数据是物流流转信息；

基于每个季度的快递物流信息建立快递物流数据的索引；

从分布式消息队列取出快递物流数据，将其中的面单数据放入全文搜索引擎，状态数据放入分布式数据库；

当待查询面单的面单号未知时，以http请求的方式从全文搜索引擎中检索面单数据，从全文搜索引擎中获取面单数据后，根据面单数据中的面单号，从分布式数据库中获取面单号对应的状态数据；

当待查询面单的面单号已知时，直接以http请求的方式分别从全文搜索引擎中获取其他面单数据，从分布式数据库中获取面单号对应的状态数据。

优选地，所述面单数据包括面单号、面单建立时间、寄件人姓名、寄件人电话、收件人姓名、收件人电话、收件人地址和寄件人地址。

优选地，数据的索引按照名称进行标识，且所述名称全部为小写字符。

优选地，所述全文搜索引擎是基于Lucene的搜索服务器ElasticSearch。ElasticSearch提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，安装使用方便。

优选地，所述分布式数据库是Hadoop database。Hadoop database是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库，利用Hadoop HDFS作为其文件存储系统、利用Hadoop MapReduce来处理HBase中的海量数据。

Hadoop database和Elasticsearch都支持分布式，Hadoop database可以实时读写，Elasticsearch搜索效率高，并且两个平台开源免费。

在快递物流数据中，状态数据量是面单数据量的8倍，并且状态数据量需要精确查询，由于Elasticsearch属于搜索引擎，对于精确查询不如Hadoop database，故在本发明中，面单数据优选Elasticsearch查询，状态数据优选Hadoop database查询。

根据本发明的另一方面，本发明提供一种数据查询系统，其用于对快递物流数据进行查询，所述系统包括：

数据查询客户端，其用于向服务器发送查询物流数据的请求。

面单数据web服务器，其用于接收客户端面单数据查询请求，并调用面单数据集群中的待查询面单的面单数据以返回客户端。

状态数据web服务器，其用于接收客户端状态数据查询请求，并调用状态数据集群中的待查询面单的状态数据以返回客户端。在实际应用中，状态数据web服务器为状态数据集群分配区域，负责区域的负载均衡，发现失效的状态数据集群中的主机时重新为其分配区域。

面单数据集群，其用于存储建立了面单数据索引的物流数据中的面单数据。

状态数据集群，其用于存储物流数据中的状态数据。状态数据集群中的主机维护状态数据web服务器为其分配的区域，处理对这些区域的数据调用请求。

优选地，所述面单数据集群中存储的面单数据包括面单号、面单建立时间、寄件人姓名、寄件人电话、收件人姓名、收件人电话、收件人地址和寄件人地址。

优选地，所述面单数据集群包括多台服务器，所述服务器联合索引进行跨主机的数据搜索，以实现对待查询面单数据的信息的搜索。

优选地，所述状态数据集群包括多台服务器。