[发明专利]一种将先验知识融入深度学习引导磁共振图像分类的方法

说明书

本发明公开了一种将先验知识融入深度学习引导磁共振图像分类的方法，该方法是对患者的磁共振图像是否发生前列腺包膜侵犯进行图像分类，将临床医生的先验知识融入卷积神经网络，并指导网络进行是否发生包膜侵犯判断。该方法利用前列腺腺体轮廓和癌灶轮廓，计算生成注意力图，注意力图反映了医生在判断包膜侵犯时认为的最有可能发生侵犯的位置。本发明改进了卷积注意力模块，将生成的注意力图加入到神经网络，指导网络更多地对可能发生侵犯的区域进行关注，从而提高网络的评估性能。与现有技术相比，本发明能够有效提高模型表现，对包膜侵犯进行自动分类，提高医生的效率。

技术领域

本发明属于图像处理和医学技术领域，涉及一种将先验知识融入深度学习引导磁共振图像分类的方法。

背景技术

前列腺癌是男性癌症死亡的第二大原因，早期准确的诊断可以大大的提高生存率。对于前列腺癌患者，根治性前列腺切除术被认为是首选方法。手术前准确地判断前列腺癌是否突破前列腺包膜(Extracapsular Extension，ECE)是非常重要的。为了提高术前风险评估，许多方法被用来预测包膜侵犯，但效果并不理想。

磁共振成像作为一种无创的影像方法，广泛应用于癌症的相关检测中。根据欧洲放射学会的前列腺影像报告数据系统(Prostate Imaging ReportingData System，PI-RADS)第二版，通常用于检测前列腺癌的扫描序列包括T2加权成像(T2 Weighted Imaging，T2WI)、弥散加权图像(Diffusion Weighted Imaging，DWI)、动态增强图像(DynamicContrast Enhanced Image，DCE)等。多个序列的图像信息可以相互补充，但多个序列的阅片也对临床医生的判断提出更高要求，判断正确与否依赖于医生的临床经验。计算机辅助判断(Computer-Aided Diagnosis，CAD)能够通过分析大量数据，提取图像中的有效特征，对包膜侵犯进行有效判断。

近年来，基于卷积神经网络(Convolutional Neural Network，CNN)的深度学习方法，在图像的分割、检测和分类中发挥着越来越重要的作用。但相比自然图像，医学影像普遍存在数据量小的问题，深度学习网络训练时容易发生过拟合，所以利用临床医生的先验知识，为网络增加约束，从而避免过拟合的发生，就成为医学影像人工智能中的常用方法。而如何有效地将具体临床问题的先验知识融合到深度学习网络中，也成为了一个研究的热点问题。

发明内容

医生在评估病人是否发生前列腺包膜侵犯的时候，通常会先观察癌灶和腺体边界之间的相对位置来做最初的判断。为了达到用医生的该先验知识指导网络训练的目的，本发明基于医生对磁共振图像预先勾画的或者由深度学习模型自动勾画的腺体区域和癌灶区域自动生成可以反映发生包膜侵犯概率的注意力图，并创新地将生成的注意力图和已有的自适应的注意力模块相结合，由此在深度学习中引入先验知识，引导网络的训练过程，关注可能发生包膜侵犯的区域，提高模型分类准确率。

这种基于深度学习对磁共振图像是否发生前列腺包膜侵犯进行分类的方法，特点在于利用临床医生手工勾画或者人工智能模型自动勾画的腺体区域和癌灶区域，生成注意力图，并作为神经网络的输入对模型训练进行指导，对包膜侵犯进行评估；该方法包括以下具体步骤：

步骤1：对患者进行磁共振扫描得到磁共振图像，自动或者手动在磁共振图像上对前列腺腺体和癌灶边缘进行勾画，得到腺体和癌灶的轮廓；

步骤2：生成一张与磁共振图像大小相同的空白图作为注意力图，通过以下的操作，设置所述空白图上的像素值；具体包括：

1)取磁共振图像上癌灶内的任一像素点；

2)若该像素点不在腺体轮廓内，将注意力图中对应位置的像素点的像素值设为1；

3)若该像素点在腺体内部，计算该像素点到腺体边界的距离d_p，注意力图对应像素点的像素值设置为αr/d_p，其中r为图像分辨率，α用于控制像素值的衰减程度，d_p越小，像素值越大；