[发明专利]基于多特征整合深度学习模型的倾斜摄影点云分类方法

摘要

本发明公开了摄影测量数据处理技术领域的基于多特征整合深度学习模型的倾斜摄影点云分类方法，首先，通过研究顾及视觉注意力机制的点云分类优化，实现点云立体视觉注意特征分析方法，以及基于深度学习的立体目标视觉注意力评估方法，并进行识别目标注意力强弱评估与排序；其次，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，开展点云初级特征描述及自学习子模型研究；最后，经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云；本发明在应用上，取得具有实用价值的倾斜摄影实景点云分类技术，以期切实地推进倾斜摄影应用由“可视化”向“可计算”方向发展。

主权项

1.基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，其特征在于，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：步骤一、顾及视觉注意力机制的点云分类优化流程在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括1)倾斜摄影点云的立体视觉注意特征分析；2)倾斜摄影点云场景的注意力计算方法；3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；步骤二、识别目标注意力强弱评估与排序根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；步骤三、点云场景视觉注意力机制过滤为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；步骤四、前注意阶段‑‑点云的初级特征描述及自学习子模型主要包括1)分析前注意阶段倾斜摄影点云的初级特征感知规律；2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet构架在特征累积传递、模型加速收敛、样本量减少等方面的作用；步骤五、特征整合阶段‑‑倾斜摄影语义目标特征及特征整合的深度学习子模型主要包括1)研究特征整合阶段倾斜摄影点云的语义目标特征感知规律；2)分析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的信息传递关系；3)利用DenseNet模型累积特征传递和特征整合机制，设计并构架倾斜摄影立体目标多特征整合DenseCNNs子模型；4)利用神经网络学习机制，研究倾斜摄影分类具体地物目标的语义特征及其描述方法，地物目标即建筑物、植被、道路等6类；5)探索初级特征与目标语义特征之间的映射关系，研究如何利用地物目标语义特征来优化深度学习模型；步骤六、点云目标识别整体模型及点云分类系统实现主要包括1)剖析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的特征传递关系；2)利用伪孪生网络和DenseNet网络的模型构架思想，设计并实现支持多特征并行自学习及特征整合机制的点云目标识别DenseCNNs模型；3)研究倾斜摄影点云分类的样本库及其建立方法；4)结合具有视觉注意力机制的点云分类优化流程，研究基于注意的特征整合倾斜点云自动分类方法，并与现有典型点云分类模型进行分类精度、方法鲁棒性等方面的对比研究，现有典型点云分类模型包括PointNet++、PointCNN、Pointwise CNNs、3DCNN、PointSIFT、So‑net网络、DGCNN网络、NormalNet、以及后续的新模型等；5)方法的鲁棒性和适用性研究：利用存在明显数据缺漏、形状或纹理扭曲、阴影干扰等问题的数据，开展方法的鲁棒性验证；分城乡交接带、城市边缘区、中心城区，或住宅区、商业区、公园等不同类型城市景观，以及不同倾斜摄影采集数据源，开展本项目方法的适用性研究；步骤七、按目标视觉注意力强弱次序的“目标识别‑点云擦除‑再识别”循环过程，将步骤三中经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云，并利用支持特征自学习和特征整合机制的点云目标深度学习识别模型进行具体目标识别，并按目标视觉注意力强弱次序建立“目标识别‑点云擦除‑再识别”的点云分类目标识别循环过程。当待识别目标为最后一类目标，即将剩余点云作为该目标识别结果，得到全部点云分类结果。