[发明专利]一种连续扫描乳腺超声图像的实时检测与决策融合方法

摘要

本发明公开了一种连续扫描乳腺超声图像的实时检测与决策融合方法，属于图像分割与融合技术领域。所述实时检测与决策融合方法，具体包括如下步骤：首先，通过搭建并训练病变区域自动分割与分类的融合网络，获得相应的预测模型；之后，将预测模型嵌入至云端对连续扫描图像中的每帧图像进行病变区域实时检测；然后通过决策算法获得连续扫描图像对应病例的准确检测与分类结果；最后通过图像融合与拼接方法对连续扫描乳腺区域扫描所得检测结果进行空间合成，生成乳腺区域整体三维预测图像结果，并将结果在线反馈给医生。所述方法实现了乳腺区域整体三维预测图像结果可视化输出，提高了病变区域分割与分类等预测准确率与速度，便于嵌入硬件设备或云端。

主权项

1.一种连续扫描乳腺超声图像的实时检测与决策融合方法，其特征在于：包含如下步骤：步骤一：制作用于病变区域自动检测的训练数据集，具体包括如下子步骤：步骤1.1、采集多张乳腺超声图像；其中，采集的多张乳腺超声图像中包含带标注的图像；此外，采集的多张乳腺超声图像包含从不同仪器采集的乳腺超声图像；步骤1.2、对于步骤1.1采集的含有带标注的图像，生成各种标注模板；其中，每个标注模板为某种标注对应的模板图像；步骤1.3、针对步骤1.2生成的每个标注模板，分别以乳腺超声图像的各个像素为中心生成与标注模板大小一致的图像子区域，并计算图像子区域与标注模板的相关程度r，计算公式如下：其中，A_mn为图像子区域矩阵,B_mn为标注模板矩阵；图像子区域矩阵为图像子区域内的像素值，标注模板矩阵为标注模板内的像素值；m为图像子区域的宽度，n为图像子区域的高度；为A_mn的均值，为B_mn的均值，计算公式如下：步骤1.4、为每个标注模板设置相应的阈值，当图像子区域与标注模板的相关程度r大于相应阈值时，则该图像子区域内被判定存在标注；步骤1.5、通过滑窗的方法遍历乳腺超声图像，检测图像中以各个像素为中心的图像子区域内是否存在标注；若存在标注，记录该图像子区域对应的标注种类以及相应的相关程度大小；步骤1.6、若乳腺超声图像中某个图像子区域对应多种标注，则比较不同标注的相关程度大小，将最大相关程度对应的标注种类设置为该图像子区域内对应的标注模板类型；即通过步骤1.1到步骤1.6，生成与乳腺超声图像大小一致的标注区域模板图像；其中，标注区域模板图像中含标注区域内像素值为零，不含标注区域内像素值与乳腺超声图像对应位置处像素值相同；步骤1.7、基于步骤1.6生成的标注区域模板图像，使用匹配方法对标注区域模板图像中的含标注区域进行自动匹配填充，生成去标注的乳腺超声图像训练集；计算标注区域模板图像中的标注区域个数，设标注个数为k,设初始化标注循环计数值i＝1；步骤1.8、计算标注区域模板图像中的第i个标注区域内像素点总数，设像素点总数为S_i；对于第i个标注区域，从标注区域的最边缘像素开始顺时针向里依次为标注区域内每个像素点编号；设初始化编号循环计数值j＝1；步骤1.9、设点p代表第i个标注区域内的第j个像素点；点p对应的新灰度值为I(p)，计算公式如下：其中，B_ε(p)为像素点p的邻域，ε为邻域的半径大小，点q为点p邻域内的像素，p‑q为点q到点p的距离，为p点的梯度值，ω(p，q)为点q与点p间的权值函数，用于限定邻域中各个像素的贡献大小，计算公式如下：ω(p,q)＝dir(p,q)·dst(p,q)·lev(p,q)，其中，几何距离因子方向因子水平集距离因子T(p)为点p到区域边缘的距离向量，T(q)为点q到区域边缘的距离向量，||p‑q||²为点p到点q直线距离的平方，|T(p)‑T(q)|为向量T(p)‑T(q)的长度的绝对值，N(p)为p邻域对应的法向量方向；步骤1.10、判断编号循环计数值j是否到达S_i；若是，则跳至步骤1.11；若否，令j＝j+1，跳至步骤1.9；步骤1.11、判断标注循环计数值i是否到达k；若是，自此获得自动去标注之后的乳腺超声图像数据集；若否，令i＝i+1，跳至步骤1.8；步骤1.12、对步骤1.11获得的自动去标注之后的乳腺超声图像数据集中所有图像进行预处理；针对从不同仪器采集的乳腺超声图像，自动截取并保留其中包含乳腺信息区域的乳腺超声图像，并保存这些图像为自动截取后的乳腺超声图像数据集；步骤1.13、将步骤1.12所得自动截取后的乳腺超声图像数据集中所有图像调整到相同的尺寸，得到调整大小后的乳腺超声图像数据集；步骤1.14、步骤1.13所得的调整大小后的乳腺超声图像数据集中包含RGB红绿蓝三通道彩色图像，将其转换为灰度图像，转换为的灰度图像即构成了用于病变区域自动检测的训练集；计算公式如下：Gray_mn＝α·R_mn+β·G_mn+γ·B_mn,其中，R_mn为彩色图像中红色通道信息，G_mn为彩色图像中绿色通道信息，B_mn为彩色图像中蓝色通道信息，Gray_mn为灰度图像，m为灰度图像的宽度，n为灰度图像的高度；步骤二：搭建并初始化以及训练用于病变区域自动分割与分类的融合网络，获得训练好的可用于病变区域自动分割与分类的预测模型，又具体包括如下子步骤：步骤2.1、搭建并初始化病变区域自动检测与分类的融合网络；其中，病变区域自动检测与分类的融合网络，简称融合网络；融合网络包含特征提取阶段和实例分割与分类两个阶段，特征提取阶段包含卷积层以及区域提议网络，实例分割与分类阶段包含卷积层与全连接层；步骤2.2、将步骤一所得的用于病变区域自动检测的训练集按比例随机分成训练集与验证集；步骤2.3、将训练集输入到融合网络中，并基于反向传播算法训练融合网络并更新网络模型；每完成一次网络训练后将验证集输入至融合网络用于验证融合网络分割与分类的准确率；经过k次网络训练后，即可获得训练好的并可用于病变区域自动分割与分类融合网络的预测模型，简称预测模型；步骤三：将预测模型嵌入至云端即在云端搭建融合网络，对连续扫描乳腺超声图像的各帧乳腺超声图像进行病变区域实时检测，又具体包括如下子步骤：步骤3.1、在云端搭建融合网络，并加载步骤二所得的预测模型；步骤3.2、将连续扫描乳腺超声图像上传至云端；其中，连续扫描乳腺超声图像为通过超声仪器采集的待预测的整个乳腺区域的连续扫描图像；步骤3.3、读取连续扫描乳腺超声图像中的每帧乳腺超声图像，使用预测模型对每帧图像进行病变区域的实时检测，获得每帧乳腺超声图像的病变区域分割与分类结果；步骤四：定义并训练决策算法并获得相应算法参数；其中，决策算法即根据给定的训练数据集构建多个决策树模型，使每个决策树都能够对实例进行预测，最后通过投票的方法得到最终准确的预测结果；步骤五：通过决策算法预测连续扫描乳腺超声图像对应病例的准确检测与分类结果，又具体包括如下子步骤：步骤5.1、读取步骤3.3所得的每帧乳腺超声图像的病变区域分割与分类结果；步骤5.2、根据各帧乳腺超声图像扫描区域的空间位置关系，将步骤5.1所读取的每帧乳腺超声图像的病变区域分割与分类结果作为决策算法的输入，获得对应病例的准确检测与分类结果；步骤六：通过图像融合与拼接方法，对连续扫描乳腺超声图像进行空间合成，生成乳腺区域整体三维预测图像结果，又具体包括如下子步骤：步骤6.1、整体乳腺区域为三维结构，连续扫描乳腺超声图像为多帧乳腺超声图像在时间上的合成；因此对于整体乳腺区域，根据扫描方向对连续乳腺超声图像进行排序；步骤6.2、通过图像融合与拼接方法在空间上对连续扫描乳腺超声图像进行空间合成，获得整体乳腺区域的三维图像；其中，图像融合与拼接方法即将多源信道采集的数张有重叠部分的图像拼成一幅无缝高分辨率图像的方法；步骤6.3、通过射影变换对步骤五所得病例的准确检测结果进行调整，获得病变区域对应的三维坐标；步骤6.4、将乳腺区域整体三维预测图像结果可视化输出；步骤七：将三维预测图像结果在线反馈给相关领域医生与专家，以便为患者提供及时的会诊与治疗。