[发明专利]一种基于多种易混淆小部件的语义分割方法

说明书

本发明公开一种基于多种易混淆小部件的语义分割方法，其特征在于：该方法设计一种级联网络作为分割网络，将多个独立的模型的输入输出连接在一起，使得网络整体上由多个模型级联在一起，形成一个多阶段的流程；其中，将分割网络得到的输出层特征信息和原始图像拼接在一起作为输入，作为先验信息交给分割网络训练；在所述的分割网络之前，采用多方向细密度的数据增强方法处理数据集；仿照干扰范数P的思想，对所述分割网络输出的特征进行指数幂运算。本发明方法通过级联网络作为分割网络增强模型分割能力；提出的多方向细密度的增强方法，显著提升模型泛化能力；通过指数幂策略，即通过不断扩大易混淆区域反馈信息的力度更好地优化模型。

技术领域

本发明涉及影像数据处理，尤其是医疗图像分割技术领域，特别是提供一种基于多种易混淆小部件的语义分割方法。

背景技术

国内外的研究都表明，胎儿超声心动图依旧是目前对胎儿心脏首选的检查方法。医务工作者通过对超声心动图的分析，可以了解到足量的信息。但是受客观临床环境影响，图中的心脏部件容易混淆，而且部件大多数都偏小，多种易混淆的小部件对图像识别带来困难。

近些年来很多研究者采用深度学习方法处理医疗影像数据，助力高效辅助临床实践。在解决医学图像分割任务中，U-net是种常用的分割网络。在不同的场景中，研究者使用了不同的变种，解决不同研究领域内的问题。基于超声心动图做研究的人们，大多会分为ES和ED两个时期分别展开实验。基于超声心动图，目前更多的研究是基于成人超声心动图，对LV的研究。Jafari做了成人LV的分割工作，他们基于四腔心切面，分别在ES和ED两个时期对LV进行分割，实现了准确自动地分割出LV结构。Xu等人基于正常组四腔心切面，借助DW-Net对五个部件进行分割研究。Yang基于正常组和多个患病组，对五个部件进行分割，同时针对各组数据量不平衡问题，采用数据量基本保持均衡的原则，提升了分割效果。

除了降主动脉(DAO)，左心室(LV)，左心房(LA)，右心室(RV)，右心房(RA)这五个部件之外，还有房间隔(SI)，室间隔(VS)，二尖瓣(MV)，三尖瓣(TV)，心外膜(EP)等小部件是描述心脏结构的通用部件。从图像中准确分割出这些部件，对于准确了解心脏的结构信息，判断胎儿心脏发育健康程度，给出合理的咨询服务，有重要意义。

受制于不均衡的样本，现有的数据增强方式往往是大量的随机尝试，缺乏系统化的方法。除此之外，胎儿心脏的解剖结构形变程度剧烈，存在尺度跨度不一等困难，也给语义分割造成了较大难度。

另一方面，扰动范数P的思想来源于神经网络对抗样本攻击算法的研究中。对于一个有效样本，经过攻击算法添加细微扰动之后，生成不易被人眼察觉却可以使得分类模型给出错误预测的攻击样本。攻击算法试图搜索找到使得模型分类错误的最小对抗扰动。扰动的大小使用P来衡量，通过设置超参限制扰动范数，使得对抗样本不易被人察觉。扰动范数P的不同取值代表了不同的含义。当P＝0的时候，刻画修改的总像素点个数。当P＝2的时候，此时代表欧氏距离，所有像素点均可以被修改。当P为无穷时，限制了单个点的修改范围。本发明另一方面旨在仿照干扰范数P的思想，对输出的特征进行指数幂运算。

发明内容

本发明的目的在于在小规模数据集下，在多种易混淆小部件的胎儿四腔心图像中，本发明基于深度学习方法，使用幂指数方法和级联网络提升分割精度，尤其是小部件的mIoU(平均交并比)和缺失率，增强模型的鲁棒性和泛化能力。

作为一个实施例，本发明的一种基于多种易混淆小部件的语义分割方法，设计一种级联网络作为分割网络，将多个相对而言较为独立的模型的输入输出连接在一起，使得网络整体上由多个模型级联在一起，形成一个多阶段的流程。

进一步的，将分割网络得到的输出层特征信息和原始图像拼接在一起作为输入，作为先验信息交给分割网络训练。

其中，为了统一尺度，将特征图像和原始图像都做相同的归一化操作。