[发明专利]一种基于向量模型的海量时空数据检索方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于向量模型的海量时空数据检索方法及系统。

背景技术

在现今的大数据时代，面对如此众多的数据，在合理的时间内返回查询结果，从而帮助决策成为了一个迫切需要解决的问题。比如公安干警在刑侦破案的时候，定位到了犯罪嫌疑人，那么就可以通过旅业、航班、铁路等海量的数据，根据和犯罪嫌疑人可能的潜在关联关系，查找出该犯罪嫌疑人的嫌疑团伙成员。在该场景中，挖掘潜在的关联关系大多是在时间或空间上和犯罪嫌疑人有关系的，公安部门拥有的数据数以百亿计，数据格式涉及表格、文本等多种多样，在如此海量形式各样的数据中，在合理可接受的时间范围内发掘出潜在的关联关系，给公安部门提供了不小的挑战。如若不能在合理可接受的时间内返回查询结果，错过了最佳抓捕时机，给予嫌疑人的逃窜隐藏的时间，会给后续破案带来不可预估的影响，为社会安全带来潜在的危害。如此看来，在海量数据中进行高速有效的时空查询是极具价值的。但是虽然有迫切的需求，现在关系型数据库(RDBMS)对时空数据的支持却是有限和不充分的，现有的时空数据目录也不能很好的整合到RDBMS中。在对时空数据的研究中，对时间性数据的研究更多，而对时间和空间数据的研究并不足够。

目前对时空数据的查询大多使用的是关系型数据库，处理的多是结构化数据，对文本、图表、图片等形式的半结构化或非结构化数据处理效果并不十分理想。其以时空为查询条件的模型表达能力有限，在待处理的数据量很大时，又面临查询时间过长的问题。近年来，针对大数据的处理框架趋于成熟，比如MapReduce，在处理海量数据时有较为良好的性能。但如若直接处理，不采用优化缓存等措施，效果会比传统数据库好，但某些数据会被反复处理，中间结果存储于磁盘时，由于磁盘寻道时间长等导致的IO瓶颈，浪费了运算资源，降低了处理速度。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能提高检索速度的一种基于向量模型的海量时空数据检索方法及系统。

本发明所采取的技术方案是：

一种基于向量模型的海量时空数据检索方法，包括以下步骤：

将事件空间和问题空间的数据进行向量化处理，得到时空数据向量；

根据需检索的目标条件向量，将时空数据向量进行降维处理；

将降维处理后的时空数据向量与目标条件向量的每一个维度进行向量运算；

对向量运算结果进行判断，筛选出满足预设条件的向量运算结果，得出对应的检索结果。

作为所述的一种基于向量模型的海量时空数据检索方法的进一步改进，所述时空数据向量包括时间点属性维度、时间段属性维度、基本空间属性维度和衍生空间属性维度。

作为所述的一种基于向量模型的海量时空数据检索方法的进一步改进，所述的根据需检索的目标条件向量，将时空数据向量进行降维处理，这一步骤具体为：

根据需检索的目标条件向量的各个维度，将时空数据向量从高维属性空间映射到对应的低维属性空间，得到降维处理后的时空数据向量。

作为所述的一种基于向量模型的海量时空数据检索方法的进一步改进，所述向量运算包括时间点维度运算、时间段维度运算、欧几里得运算、曼哈顿运算、衍生空间属性运算和关系运算。

作为所述的一种基于向量模型的海量时空数据检索方法的进一步改进，所述的将事件空间和问题空间的数据进行向量化处理，得到时空数据向量，这一步骤之后还包括有：

将时空数据向量根据设定的层级索引，对设定的维度进行多层函数映射，划分得到多个数据集。

本发明所采用的另一技术方案是：

一种基于向量模型的海量时空数据检索系统，包括：

时空数据向量表示模块，用于将事件空间和问题空间的数据进行向量化处理，得到时空数据向量；

时空数据向量降维模块，用于根据需检索的目标条件向量，将时空数据向量进行降维处理；

时空数据向量运算模块，用于将降维处理后的时空数据向量与目标条件向量的每一个维度进行向量运算；

检索结果判断模块，用于对向量运算结果进行判断，筛选出满足预设条件的向量运算结果，得出对应的检索结果。

作为所述的一种基于向量模型的海量时空数据检索系统的进一步改进，所述时空数据向量包括时间点属性维度、时间段属性维度、基本空间属性维度和衍生空间属性维度。

作为所述的一种基于向量模型的海量时空数据检索系统的进一步改进，所述时空数据向量降维模块具体为：