[发明专利]基于HDFS的点云数据处理方法及装置

说明书

本发明公开了一种基于HDFS的点云数据处理方法及装置，该方法包括：获取采集的点云数据；将点云数据进行网格化处理，得到点云数据对应的多个地理网格；根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；将各个数据块存储于HDFS的各个存储节点主机上。本发明基于HDFS实现点云数据的网格化分布式存储，不仅能够支持存储空间的横向扩充，而且在分布式计算的时候，能够实现最低程度的跨节点数据访问。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于HDFS的点云数据处理方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

机载激光雷达(Light Laser Detection and Ranging，LiDAR)技术是近年来发展起来的一种可以直接获取地面三维信息的技术，具有传统航空摄影测量无可比拟的优势，已广泛应用于城市建筑物提取、三维重建、架空输电线路巡视。

由于机载激光雷达采集的点云数据量巨大，目前主要采用集中式存储和普通分布式存储两种存储方式，对点云数据的计算一般采用单机或集群计算。对于集中式存储，随着数量增加，集群扩大，很快带来IO瓶颈；对于普通分布式存储，由于分布式存储的数据块与内容无关，随着存储规模变大，会引起网络阻塞。

现有的两种存储方式，均存在随着数据量增加，计算量也会增大的问题，很难做到计算能力与存储能力的同步线性扩展。目前解决的方案是采购更好的存储设备，提高计算机性能。

发明内容

本发明实施例提供一种基于HDFS的点云数据处理方法，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该方法包括：获取采集的点云数据；将点云数据进行网格化处理，得到点云数据对应的多个地理网格；根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；将各个数据块存储于HDFS的各个存储节点主机上。

本发明实施例还提供一种基于HDFS的点云数据处理装置，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该装置包括：点云数据获取模块，用于获取采集的点云数据；点云数据网格化处理模块，用于将点云数据进行网格化处理，得到点云数据对应的多个地理网格；点云数据切分模块，用于根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；点云数据网格化分布式存储模块，用于将各个数据块存储于HDFS的各个存储节点主机上。

本发明实施例还提供一种计算机设备，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于HDFS的点云数据处理方法。

本发明实施例还提供一种计算机可读存储介质，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该计算机可读存储介质存储有执行上述基于HDFS的点云数据处理方法的计算机程序。

本发明实施例中，在获取到采集的点云数据后，将点云数据进行网格化处理，得到点云数据对应的多个地理网格，然后根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，使得每个数据块包含一个地理网格的点云数据，最后将切分后的各个数据块存储于HDFS的各个存储节点主机上。由于存储到HDFS上的点云数据是按照各个地理网格进行存储的，因而，在对HDFS上的点云数据进行计算处理的时候，可以基于待处理点云数据对应的各个地理网格，查找HDFS上存储待处理点云数据对应各个数据块的存储节点主机，只需要将对点云数据进行计算处理的计算程序调度运行到存储待处理点云数据的存储节点主机上即可。