[发明专利]基于图像稀疏特征的空间统计数据分块压缩方法及系统

说明书

技术领域

本发明属于空间统计数据信息压缩技术领域，特别是涉及一种新的利用图像分块稀疏特征对空间统计数据进行分块压缩的方法及系统。

背景技术

海量空间信息的存储和快速访问一直是空间信息服务系统试图解决的重要问题，依据空间数据的访问规律组织存储空间数据，能大幅度提高空间数据服务系统的性能。空间数据的访问规律就是用户在访问空间数据时形成的对空间数据的访问记录，主要包括所访问空间数据及访问次数的统计信息，一般以访问日志的形式存在，相关的研究表明空间数据的访问规律符合Zipf分布。由于空间数据的更新速度快，在分布式环境下动态的统计获取空间数据的访问规律，以便快速根据访问规律调整存储和组织策略，一般称动态统计获得的空间数据访问规律为空间统计数据。

为了动态调整存储和组织策略，需要在分布式环境中实时传输和共享空间统计数据，由于空间数据量巨大，对空间统计数据进行压缩处理以减少传输信息量是必须的。

针对空间数据的压缩算法主要用于减少栅格数据或矢量数据的存储空间，如空间栅格数据或空间矢量数据压缩处理，而空间统计数据属于离散数据，其部分数据是由用户的随机访问形成的，不能有效的为存储和组织提供依据，针对其特点，一般采用的方法是通过代理融合或聚类压缩来减少总的统计数据量。代理融合方法通过融合不同节点统计得到的相同数据，减少重复传输开销，在传输时每块空间数据用5个字节表示，其总的空间统计数据量和被访问的空间数据量相关。而聚类压缩算法则通过空间聚类提取，按照空间统计数据访问次数差小于127，同时聚类区域半径不大于设定值时，将空间统计数据分组压缩，压缩时对每块数据采用3个字节来表示，压缩率有限。

总之，现有的方法主要采用将数据点逐个排列，然后通过其排列规律采取一定的算法进行处理以减少数据量，这种模式在空间统计数据量较大时，由于数据点规模巨大，算法则难以适应，如SRTM90数据，一副地形数据就包含3538890个数据点，即使按照Zipf规律，80%的用户都只访问20%的数据，针对该幅地形数据的空间统计数据也包含了707778个数据点，其总数据量也达到了2.02MB，对空间统计数据的传输仍然影响很大，而且计算复杂，效率较低。

发明内容

为了解决上述的技术问题，本发明提供了一种基于图像稀疏特征的空间统计数据分块压缩方法及系统。

本发明的方法所采用的技术方案是：一种基于图像稀疏特征的空间统计数据分块压缩方法，其特征在于，包括以下步骤：

步骤1：将空间统计数据按层映射成灰度图像输出；

步骤2：计算所述的每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；

步骤3：根据图像分块的压缩率参数、面积大小进行启发式计算最优分块方案；

步骤4：针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

作为优选，所述的空间统计数据，包含对应的空间数据的坐标及访问次数，所述的空间统计数据包括但不限于以日志格式文件、数据库的形式提供。

作为优选，所述的映射的灰度图像，每个像素代表一块空间数据，像素坐标即为对应的空间统计数据对应的X、Y坐标，像素的灰度值为对应的空间统计数据被访问次数。

作为优选，所述的灰度图像分块的压缩方法包括稀疏分块图像的压缩方法和非稀疏分块图像的压缩方法。

作为优选，所述的稀疏分块图像的压缩方法是通过将空间统计数据逐个排列，通过序列差计算后选择序列化数据压缩算法压缩，所述的序列化数据压缩算法包括但不限于游程编码压缩；所述的非稀疏分块图像的压缩方法是选择通用图像无损压缩算法压缩，所述的图像无损压缩算法包括但不限于JPEG无损压缩。

本发明的系统所采用的技术方案是：一种利用权利要求1所述的基于图像稀疏特征的空间统计数据分块压缩方法进行空间统计数据分块压缩方法的系统，其特征在于，包括空间统计数据分层映射单元、灰度图像分块稀疏特征计算单元、启发式方案优化计算单元和图像分块压缩处理单元；

所述的空间统计数据分层映射单元用于将空间统计数据按层映射成灰度图像输出；所述的灰度图像分块稀疏特征计算单元用于计算所述的每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；

所述的启发式方案优化计算单元用于根据图像分块压缩率参数、面积大小进行启发式计算最优分块方案；

所述的图像分块压缩处理单元用于针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。