[发明专利]多模态影像自动勾画模型迁移方法

说明书

本发明公开了一种多模态影像自动勾画模型迁移方法，包括：采集来自多个数据源的医学图像，并处理得到源数据集。用所述源数据集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型。将训练好的自动勾画模型和特征自编码模型部署到各个医院。对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征。借此，本发明的多模态影像自动勾画模型迁移方法，降低了大规模部署应用的成本和数据标注的代价，且可以获得较高的勾画精度。

技术领域

本发明是关于图像处理领域、深度学习领域和医疗领域，特别是关于一种多模态影像自动勾画模型迁移方法。

背景技术

近年来，深度学习技术有了显著进展并大量应用到人们的现实生活中，尤其是基于深度卷积网络的自动勾画模型已经在放疗中获得了广泛应用且得到临床医生的认可，但是由于不同医院之间存在成像设备不同、成像参数各异、医生勾画习惯不同等问题，导致基于单个医院或少数几个医院采集的数据训练的自动勾画模型难以很好的泛化到所有医院。

针对这个问题，已有解决方案包括：

一是从目标医院采集大量数据并进行人工标注，然后训练一个针对该医院数据的自动勾画模型；二是用已有数据训练出一个基准模型，然后从目标医院采集少量数据并进行标注，然后对基准模型进行调优(finetuning)，使其在目标医院的数据集上表现最优。

但上述的方法都需要针对目标医院的数据进行模型训练或者finetuning，也即对于不同医院或不同设备的影像，都需要一次针对性的训练或finetuning，对于自动勾画模型的大规模应用部署，成本极高。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种多模态影像自动勾画模型迁移方法，降低了部署成本和数据标注的代价，且可以获得较高的勾画精度。

为实现上述目的，本发明提供了一种多模态影像自动勾画模型迁移方法，包括：采集来自多个数据源的医学图像，并处理得到源数据集。用所述源数据集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型。将训练好的自动勾画模型和特征自编码模型部署到各个医院。对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征。

在本发明的一实施方式中，利用在线迭代优化的思路对自动勾画模型进行迁移学习，使其适应各医院的数据特征包括：如果医院数据未经过医生标注，则利用特征自编码模型在数据池中挑选高匹配数据，利用所述高匹配数据对自动勾画模型进行优化训练，优化后的模型对剩余数据再次挑选一批匹配数据进行下一轮的优化训练，不断重复以上迭代优化训练过程，直到自动勾画模型适应医院的数据特征，在所述医院的测试数据集上达到目标勾画精度。如果医院有标注数据，则利用自动勾画模型对数据进行勾画，根据勾画精度挑选出差异最大的一批数据，利用这些数据及医院的标注直接对自动勾画模型进行finetuning，使其直接适应该医院的数据特征。

在本发明的一实施方式中，多个数据源为不同医院、不同成像设备和不同成像参数。

在本发明的一实施方式中，医学图像为CT、CBCT、MRI或PET。