[发明专利]一种应用于智慧城市的多源异构数据压缩方法

说明书

本申请公开了应用于智慧城市的多源异构数据压缩方法，包括：数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，所述样本数据量低于所述矩阵式原始数据组的数据量；所述DTS将所述多个样本数据组按照预设格式进行数据拼装，形成压缩数据组，并将所述压缩数据组发送至核心层。

技术领域

本申请涉及数据处理技术领域，尤其涉及应用于智慧城市的多源异构数据压缩方法。

背景技术

城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。

CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。

目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。

从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息系统)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。

现有技术中，对于智慧城市的多源异构数据而言，如此巨大的数据量没有办法进行有效存储，必须对该多源异构数据进行压缩，将海量数据分门别类进行压缩和存储是保证智慧城市数据能够有效利用的关键。但是，现有技术中尚没有一种有效的数据压缩机制，可以针对不同时间、地区和业务类型进行数据压缩，导致存储数据量大，压缩效率低。

发明内容

本申请实施例提供一种应用于智慧城市的多源异构数据压缩方法，用于解决现有技术中智慧城市场景下多源异构数据压缩效率低的问题。

本发明实施例提供一种应用于智慧城市的多源异构数据压缩方法，包括：

数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；

所述DTS按照预设采样模型进行所述原始数据组进行采样，获取所述原始数据组的多个样本数据，所述样本数据量低于所述矩阵式原始数据组的数据量；

所述DTS将所述多个样本数据组按照预设格式进行数据拼装，形成压缩数据组，并将所述压缩数据组发送至核心层。