[发明专利]一种基于深度学习模型的超声图像处理方法及装置

权利要求书

1.一种基于深度学习模型的超声图像处理方法，其特征在于，包括以下步骤：

将若干超声图像、电子病历文本和检验结果预处理后输入至训练完毕的融合深度学习模型中，获取各超声图像能够表征待检查对象的概率，同时对能够表征待检查对象概率最高的超声图像自动生成超声检查报告文本；

其中，所述融合深度学习模型包括特征提取子网络模型、分类子网络模型和报告生成子网络模型；特征提取子网络模型的输出端连接分类子网络模型和报告生成子网络模型；

所述特征提取子网络模型用于在预处理后的若干超声图像、电子病历文本和检验结果中分别获取若干超声图像特征、电子病历文本特征和检验结果特征；将电子病历文本特征、检验结果特征和单个超声图像特征作为一个特征单元，电子病历文本特征、检验结果特征与若干超声图像特征构建为若干个特征单元；对各特征单元采用多模态双线性矩阵分解池化方法融合超声图像特征和电子病历文本特征后，连接融合检验结果特征形成提取特征；

所述报告生成子网络模型为多个LSTM串联的模型，用于输入提取特征，输出超声检查报告文本；

所述分类子网络模型从输入端至输出端，顺次为批标准化层、DropOut层、全连接层和分类输出层，以提取特征为输入，输出超声图像能够表征待检查对象的概率。

2.根据权利要求1所述的超声图像处理方法，其特征在于，训练所述融合深度学习模型的方法，包括以下步骤：

收集超声图像、电子病历文本和检验结果作为训练融合深度学习模型的原始数据，以能否表征待检查对象和超声图像的检查报告文本数据作为训练融合深度学习模型的标签；

将超声图像经过YOLO模型进行目标检测，识别超声图像中待检查对象；将电子病历文本使用Word2Vec进行向量化；且对检验结果根据每项结果是否正常赋值为1或0；

使用DenseNet网络提取超声图像特征；使用TextCNN网络在向量化后的电子病历文本提取电子病历文本特征；使用多层感知机MLP在赋值后的检验结果中提取检验结果特征；

对超声图像特征和电子病历文本特征施加注意力方法；

将施加注意力的超声图像特征和电子病历文本特征采用多模态双线性矩阵分解池化方法进行融合后，连接融合检验结果，形成提取特征；

以是否能够表征待检查对象作为标签，将提取特征输入至分类子网络模型，损失函数为交叉熵函数，训练特征提取子网络和分类子网络模型的网络参数；

固定特征提取子网络的网络参数，以提取特征作为报告生成子网络模型的输入、超声图像的检查报告作为输出，使用对比学习的方法训练报告生成子网络模型的参数，完成融合深度学习模型的训练。

3.根据权利要求1或2所述的超声图像处理方法，其特征在于，所述电子病历文本特征的获取方法为：

构建目标图像特征相关的语料库，使用中文分词工具jieba分词对语料库中的文本进行分词；

以分词的语料库训练Word2Vec模型；

采用训练完毕的所述Word2Vec模型对电子病历文本进行向量化；

使用TextCNN网络对向量化后的电子病历文本提取电子病历文本特征。