[发明专利]基于注意力机制的超声与钼靶多模态融合分析方法和系统在审
| 申请号： | 202210228193.0 | 申请日： | 2022-03-08 |
| 公开（公告）号： | CN114581716A | 公开（公告）日： | 2022-06-03 |
| 发明（设计）人： | 冯嘉豪;汪进;陈睿 | 申请（专利权）人： | 赛维森(广州)医疗科技服务有限公司 |
| 主分类号： | G06V10/764 | 分类号： | G06V10/764;G06V10/80;G06T7/00;G06V10/82 |
| 代理公司： | 深圳舍穆专利代理事务所(特殊普通合伙) 44398 | 代理人： | 黄贤炬 |
| 地址： | 510220 广东省广州市海珠区*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 注意力 机制 超声 钼靶多模态 融合 分析 方法 系统 | ||
1.一种基于注意力机制的超声与钼靶多模态融合分析方法，其特征在于，包括：
将受检者的乳腺的多种影像图像分别输入多个特征提取模块以获得图像特征，所述多种影像图像包括通过超声成像装置获得的超声影像图像和通过钼靶摄影装置获得的钼靶影像图像，
基于注意力机制和所述图像特征获得与所述图像特征相匹配的权重系数，并基于所述图像特征和所述权重系数获得注意力图像特征，
基于所述注意力图像特征和所述图像特征获得组合特征，
基于所述组合特征获得与所述影像图像相匹配的分类结果。
2.如权利要求1所述的分析方法，其特征在于，
所述钼靶影像图像包括钼靶摄影装置从第一投照方向获得的第一钼靶影像图像以及钼靶摄影装置从第二投照方向获得的第二钼靶影像图像。
3.如权利要求2所述的分析方法，其特征在于，
所述第一钼靶影像图像为钼靶CC位的影像图像，所述第二钼靶影像图像为钼靶MLO位的影像图像。
4.如权利要求1所述的分析方法，其特征在于，
所述多种影像图像还包括通过磁共振检查获得的乳腺磁共振影像图像。
5.如权利要求1所述的分析方法，其特征在于，
所述多个特征提取模块中的各个特征提取模块通过单独训练获得。
6.如权利要求5所述的分析方法，其特征在于，
对所述特征提取模块进行训练时，对影像图像进行增广处理并获得训练集。
7.如权利要求1所述的分析方法，其特征在于，
所述特征提取模块为基于卷积神经网络的特征提取器。
8.如权利要求1所述的分析方法，其特征在于，
通过残差连接的方式获得所述组合特征。
9.如权利要求1-8中任一项权利要求所述的分析方法，其特征在于，
对所述组合特征进行标准化，并基于标准化后的所述组合特征获得与所述影像图像相匹配的分类结果。
10.一种基于注意力机制的超声与钼靶多模态融合分析系统，其特征在于，包括：多个特征提取模块、注意力模块、特征组合模块以及分析模块，
所述多个特征提取模块配置为分别对多种影像图像进行处理以获得图像特征，所述多种影像图像包括通过超声成像装置获得的超声影像图像和通过钼靶摄影装置获得的钼靶影像图像，
所述注意力模块配置为接收所述图像特征，基于注意力机制获得与所述图像特征相匹配的权重系数，并基于所述图像特征和所述权重系数获得注意力图像特征，
所述特征组合模块配置为接收所述注意力图像特征和所述图像特征并获得组合特征，
所述分析模块配置为接收所述组合特征，并基于所述组合特征获得与所述影像图像相匹配的分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于赛维森(广州)医疗科技服务有限公司，未经赛维森(广州)医疗科技服务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202210228193.0/1.html，转载请声明来源钻瓜专利网。
