[发明专利]基于注意力机制的超声与钼靶多模态融合分析方法和系统

说明书

本公开涉及一种基于注意力机制的超声与钼靶多模态融合分析方法和系统，该分析方法包括：将多种影像图像分别输入多个特征提取模块以获得图像特征，多种影像图像包括通过超声成像装置获得的超声影像图像和通过钼靶摄影装置获得的钼靶影像图像，基于注意力机制和图像特征获得与图像特征相匹配的权重系数，并基于图像特征和权重系数获得注意力图像特征，基于注意力图像特征和图像特征获得组合特征，基于组合特征获得与影像图像相匹配的分类结果。在这种情况下，能够分别提取不同的影像图像的图像特征，并将不同影像图像的重要程度引入到分析过程，从而能够减少单一影像图像的片面性或呈现内容不足导致的分类结果有误的情况。

技术领域

本公开大体涉及人工智能领域，具体涉及一种基于注意力机制的超声与钼靶多模态融合分析方法和系统。

背景技术

乳腺癌发病率已跃居女性恶性肿瘤的首位，且发病年龄呈年轻化趋势，各地区乳腺癌筛查的需求量也随之变大。但是，对乳腺癌进行筛查的病理医生的培训周期较长，各医院所拥有的病理医生资源难以应对日益增长的筛查需求量。同时，病理医生在筛查大量的病例时可能会出现误诊或漏诊的情况。为了提高病理医生的工作效率和工作质量，常使用深度学习模型对乳腺的影像进行分析以辅助病理医生。一般情况下，医生需要结合病人的超声影像以及钼靶影像才能得出诊断。然而现有的基于深度学习的乳腺癌分析一般都是单独对超声影像或钼靶影像进行特征提取然后进行分析，最后得出各个影像的乳腺良恶性分类，这些深度学习模型只考虑了当前影像的特征，而未考虑不同影像不同角度结合出来的综合特征，因此这些分类结果是片面的，并且准确率、敏感度与特异性较低。

CN109146848A公开了一种融合多模态乳腺图像的计算机辅助参考系统及方法，在该方法中，先使用不同的方法分别对乳腺超声影像图像和钼靶影像图像进行预处理，并提取乳腺肿块感兴趣区域，再从乳腺肿块感兴趣区域中提取图像特征，再对乳腺肿块进行良恶性分类。

然而，该方法需要先标记出超声影像图像肿块位置以便于提取该肿块位置的图像特征，同时，该方法在超声影像图像和钼靶影像图像中提取图像特征后，直接串联融合两种影像图像的图像特征，因此该方法依然未考虑到不同影像对乳腺肿块良恶性分类的重要程度，无法有效地辅助病理医生分析。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种利用注意力机制针对不同类型的影像图像赋予不同的权重系数，对多个不同类型的影像图像进行综合分析，从而能够提高分析准确率、敏感度与特异性的基于注意力机制的超声与钼靶多模态融合分析方法和系统。

为此，本公开第一方面提供了一种基于注意力机制的超声与钼靶多模态融合分析方法，包括：将受检者的乳腺的多种影像图像分别输入多个特征提取模块以获得图像特征，所述多种影像图像包括通过超声成像装置获得的超声影像图像和通过钼靶摄影装置获得的钼靶影像图像，基于注意力机制和所述图像特征获得与所述图像特征相匹配的权重系数，并基于所述图像特征和所述权重系数获得注意力图像特征，基于所述注意力图像特征和所述图像特征获得组合特征，基于所述组合特征获得与所述影像图像相匹配的分类结果。在这种情况下，能够先利用多个特征提取模块分别提取不同的影像图像的图像特征，进而能够基于注意力机制获取与图像特征相匹配的权重系数，也即利用注意力机制获得从不同影像图像的重要程度，并将不同影像图像的重要程度引入到分析过程，从而能够减少单一影像图像的片面性或呈现内容不足导致的分类结果有误的情况。

在本公开所涉及的分析方法中，可选地，所述钼靶影像图像包括钼靶摄影装置从第一投照方向获得的第一钼靶影像图像以及钼靶摄影装置从第二投照方向获得的第二钼靶影像图像。在这种情况下，由于不同角度拍摄或处于不同体位的钼靶影像图像可以显示出不同的病理特征，由此能够能全面地体现受检者的乳腺的病理情况，进而能够提高后续分析过程的可靠性，从而能够提高乳腺癌分类的准确性。