[发明专利]大幅面遥感影像的深度学习框架模块设计与构建方法

说明书

本发明提供了一种大幅面遥感影像的深度学习框架模块设计与构建方法。本发明设计了智能模型的中间层表示和编译优化模块以使通用深度学习框架融合遥感特性，具备大幅面遥感影像的智能解译能力，具体流程为：输入的智能处理模型，经过中间层表示和编译优化模块的大幅面特性处理使之具备了处理大幅面影像的能力，转换后的模型使用影像数据训练后，最终输出具有大幅面特性的模型训练出的参数。另外本发明还设计了大幅面遥感影像的数据切分并行模块，用于将输入的大幅面影像经数据增强，沿H/W维度切分，下发至多张训练卡上。本发明使用中间层表示和编译优化的方法进行优化后，使框架具备大幅面遥感影像训练和推理的能力。

技术领域

本发明涉及深度学习框架中大幅面遥感影像特性模块的设计与构建方法，应用于在框架层面集成大幅面遥感影像智能解译能力。

背景技术

自2012年ImageNet挑战赛以来，面向普通图像处理的深度神经网络框架和模型获得迅猛发展。目前开源深度学习框架种类繁多，国内中科院计算所推出了人脸识别深度学习框架Dragon，清华大学发布了计图(Jittor)，百度、华为、旷世、一流科技等互联网企业相继开源了PaddlePaddle、MindSpore、MegEngine以及OneFlow等框架。在国外，早期蒙特利尔理工学院开源了Theano、伯克利大学研发了Caffe，日本首选网络研发了当时领先的Chainer框架,Google、Facebook、Amazon等先后开源了Tensorflow、PyTorch、MxNet等框架。

虽然通用深度学习框架数目众多，各有其优缺点，但主流开源深度学习框架与模型主要针对的是普通影像，即普通的小像幅室内/外影像。与普通影像相比，大幅面为遥感影像的一个突出特征。通常一幅完整的遥感影像长宽尺寸(H*W)会以万为单位，远远超出主流深度学习框架的处理极限。在遥感领域，影像处理模型主要由普通影像预训练模型迁移获得，主要技术手段为将大幅面的遥感影像分块为深度学习框架可接受的小尺寸瓦片进行处理。而图像裁剪与分块会导致样本图像边缘像素特征不足，即使采取样本裁剪有重叠以及增加裁剪样本尺寸策略，虽然有一定程度缓解，但是边缘区域仍然参与了训练，对精度的负面影响仍然存在。为解决分块处理造成的信息丢失问题，学界也进行了大量研究，但基本集中于模型层面，并未从框架层面集成大幅面遥感影像解译所需特性。

发明内容

本发明为了克服上述问题，提出一套从深度学习框架层面嵌入大幅面遥感特性的模块设计与构建方法，针对遥感影像的大幅面特性，从输入影像和模型两方面，使用自动数据切分、中间层表示和编译优化的方法进行优化，使框架具备大幅面遥感影像训练和推理的能力。

本发明提供一套从深度学习框架层面嵌入大幅面遥感特性的模块设计与构建方法，设计了一个中间表示模块，用于将多源框架构建的模型，经过中间表示和编译优化转换为具备处理大幅面影像的模型，该模块的具体构建方法包括如下步骤：

首先，前端使用多源框架构建的模型的计算图经编译生成抽象语法树，然后利用中间表示模块对模型进行大幅面遥感特性改造，生成优化后的模型计算图的机器执行代码，最后根据该代码训练模型，训练过程可使用多设备并行计算；

所述中间表示模块用于将模型转换为统一表示，中间表示模块采用多级的分层结构，每一级的中间表示都保有模型某一维度的特征，从而在该维度上对模型进行优化，每一级别的中间表示可以通过转换下降到更低层次的表达上，并执行相应层级的优化，经过不同层次级别的中间表示与优化，最终得到优化后的模型中间表示；所述中间表示模块包括算子分解、算子融合，其中算子分解是指将原来的大计算机图的算子分解为一系列作用在小计算图上的算子，从而保证整个模型可以部署在目标硬件上；算子融合是指将多个算子组合在一起放到同一个核中，从而消除多余的计算，降低计算图的内存或显存占用量。

进一步的，中间表示采用基于节点和边的图式数据结构，一个节点表示一个操作，一个边表示一个数值，每个数值都是一个操作或块参数的结果，并且具有根据类型检查系统定义的值类型，所有的操作按照顺序被包含在块的结构中，块按照顺序包含在区域中，操作中允许包含区域，构成了中间表示的整体层次结构；