[发明专利]一种基于深度学习模型的超声图像处理方法及装置

说明书

本发明提供了一种基于深度学习模型的超声图像处理方法及装置，属于医学图像数据处理领域，方法步骤为：将超声图像、电子病历文本和检验结果预处理后输入至训练完毕的融合深度学习模型中，获取超声图像能表征待检查对象的概率，同时对能表征待检查对象概率最高的超声图像自动生成超声检查报告文本。本发明使用多源数据特征可以保证自动生成的超声检查报告的质量，同时能够提高超声检查的效率。

技术领域

本发明属于医学图像数据处理领域，更具体地，涉及一种基于深度学习模型的超声图像处理方法及装置。

背景技术

卵巢癌是女性生殖系统最常见的恶性肿瘤之一，其致死率高居妇科恶性肿瘤第一位。一般将卵巢肿瘤分为：良性肿瘤和恶性肿瘤。卵巢良性肿瘤根据肿瘤大小等情况可以进行保守治疗，做好定期复查；卵巢恶性肿瘤即是卵巢癌，需要进行手术治疗甚至化疗。在临床上，超声结果对临床医生进行卵巢肿瘤诊断和治疗具有重要的参考价值。超声又称为B超，是指彩色多普勒超声检查。针对卵巢肿瘤患者，大部分可以使用阴道超声获得包含卵巢部位的盆腔超声图像。同时，超声检查具有图像清晰、费用低廉等优点，在临床上广泛使用。目前，超声结果的准确性主要依赖于超声医生的经验，经验丰富的超声医生能够快速找到典型的超声图像并给出准确的描述（检查报告），这样的结果对临床医生关于患者的诊断及后续治疗有很大的参考价值；而经验不足的超声医生难以顺利发现具有典型特征的超声图像，也较难给出准确的检查报告描述，从而无法对临床医生进行判断提供有效的帮助，有时甚至会导致临床医生漏诊和误诊。现实中，经验丰富的超声医生是十分稀缺的，即使在很多三甲医院，也仅有一两位技术高超的超声医生能够具有较高的检查准确率。因此，借助于人工智能技术，辅助超声医生对超声图形进行处理，并自动生成检查报告，从而显著降低超声医生的工作强度和普遍提高超声医生检查的准确率，在临床实际应用中具有重大意义。

目前，使用人工智能深度学习自动生成医学影像检查报告的研究主要集中在X射线检查和CT检查，也主要针对胸部的检查，而对于女性盆腔卵巢的超声图像检查报告自动生成等方面的研究较少。同时，当前的医学影像检查报告自动生成方法大多仅依赖于影像的图像特征，缺乏其他数据源的支撑。因此，针对盆腔超声图像的卵巢肿瘤的检查报告自动生成，以及使用多源异构数据进一步提高检查报告生成准确率的课题还需要进一步研究。

发明内容

针对现有技术的缺陷，本发明提供了一种基于深度学习模型的超声图像处理方法及装置，目的在于基于超声图像、电子病历和检查结果，通过融合深度学习模型辅助超声检查，自动判断能够表征待检查对象的典型超声图像，并自动生成相应的超声检查报告；通过该方法可以有效降低超声医生的工作强度，同时普遍提高超声医生检查报告的准确率。

为实现上述目的，一方面，本发明提供了一种基于深度学习模型的超声图像处理方法，包括以下步骤：

将若干超声图像、电子病历文本和检验结果预处理后输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；

其中，融合深度学习模型包括特征提取子网络模型、分类子网络模型和报告生成子网络模型；特征提取子网络模型的输出端连接分类子网络模型和报告生成子网络模型；

特征提取子网络模型用于在预处理后的若干超声图像、电子病历文本和检验结果中分别获取若干超声图像特征、电子病历文本特征和检验结果特征；将电子病历文本特征、检验结果特征和单个超声图像特征作为一个特征单元，电子病历文本特征、检验结果特征与若干超声图像特征构建为若干个特征单元；对各特征单元采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征；

报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本；