[发明专利]一种医学图像分割模型压缩方法

说明书

本发明公开了一种医学图像分割模型压缩方法，属于医学影像处理领域。针对一个医学图像分割基本模型，根据模型中每个位置所使用的卷积核的数量来构建搜索空间，针对分割网络的编码‑解码结构，使用对称神经网络搜索在该搜索空间中寻找一个计算量小、分割精度高的子网络，且其编码‑解码结构均是对称的。在遍历整个搜索空间时，使用权重共享策略以减轻计算成本和训练资源。最后在网络的训练过程中使用知识蒸馏方法，以基本模型作为教师模式，压缩子网络作为学生模型，实现二者之间的知识转移。本发明通过神经网络搜索和知识蒸馏，使得医学图像分割模型在保证分割效果的前提下，构建网络的计算成本大大减少，可应用于各种医学图像分割模型。

技术领域

本发明涉及医学影像处理领域，尤其涉及一种基于神经网络搜索和知识蒸馏的医学图像分割模型压缩方法。

背景技术

医学图像分割任务一直是计算机视觉和自然领域的研究热点。随着卷积神经网络(Convolutional Neural Networks,CNNs)的快速发展和应用，越来越多基于深度学习(Deep Learning,DL)的医学分割模型被提出，并在许多疾病分割任务中取得了不错的成果。一方面，神经网络的层数越来越多；另一方面，医疗设备的发展也提供了更高分辨率的数据。这使得医学图像分割任务的效果越来越好，然而模型的体量却越来越庞大，这不便于模型的应用和在硬件环境上的部署。因此，医学图像分割模型的体量和计算成本有待通过模型压缩进一步优化。

一个好的网络结构是模型压缩的关键。目前医学分割模型的卷积核数量和通道数量都是固定的，其中包含了大量的冗余。为了去除卷积通道数量的冗余，直接人工选择减少卷积核的数量是一种可选方案，但这会使得模型性能大大降低。而使用神经网络搜索(Neural Architecture Search,NAS)则可以在基本网络结构提供的搜索空间内寻找整体性能最好的结构子网络。

目前医学图像分割任务中，最常使用对称的编码-解码结构，为了避免在剪枝过程中丢失这种对称性，解码过程的特征图与编码过程的特征图会在规模上一一对应。在模型压缩过程中，相比较保持这种对称性而言，丢失网络结构对称性会大大地降低分割效果。

同时，由于搜索空间的结构子网络均为独立的深度学习分割模型，而每个模型构建过程中有些局部信息是多次重复使用，因此可以使用权值共享策略，让结构子网络共享一些权重，降低训练所需的时间成本和训练资源。通过神经网络搜索得到的结构子网络需要训练才能用于医学图像分割任务。然而，由于子网络的规模比基本网络规模要小，从头训练子网络是很难达到和基本网络相当的结果。

发明内容

本发明针对上述技术问题，提供一种基于神经网络搜索和知识蒸馏的医学图像分割模型压缩方法，引入对称-NAS编码-译码结构，保证搜索空间中所有的子网络都具有这种对称性。同时，让子网络模型近似原来的基本模型，这里基本模型作为教师模型，压缩子模型作为学生模型，使用知识蒸馏的方法将医学图像分割模型的中间表示，从教师模型迁移到学生模型，保证分割效果的同时减少医学图像分割模型的计算成本。

为了实现上述目的，本发明提供如下技术方案：

本发明提供一种医学图像分割模型压缩方法，包括以下步骤：

S1、收集医学影像数据库中的数据；

S2、进行数据预处理；

S3、针对一个医学图像分割基本模型，根据模型中每个位置所使用的卷积核的数量来构建搜索空间，针对分割网络的编码-解码结构，使用对称神经网络搜索在该搜索空间中寻找一个计算量小、分割精度高的子网络，且其编码-解码结构均是对称的；

S4、在遍历整个搜索空间时，使用权重共享方法以减轻计算成本和训练资源；

S5、在网络的训练过程中使用知识蒸馏方法，以基本模型作为教师模式，压缩子网络作为学生模型，实现二者之间的知识转移。