[发明专利]一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统

权利要求书

1.一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，

预处理模块，其作用是对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样预处理，以减少无效图像信息对图像处理的影响。

分割标注模块，其作用是对预处理完的脑部MR图像，进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区，分别用不同像素值进行标注，并添加索引图像，分别用不同颜色代表脑胶质瘤的水肿区、坏死区和增强区，以实现标分割标注的可视化；

构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别；数据库图像一共十组，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；

VGG孪生网络构建及训练模块

构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练，VGG孪生网络由输入层、卷积层、最大池化层、全连接层和输出层组成；训练方式为每次任意选取任意两组图像进行训练，如果图像来源组别相同，则给予网络输入标签为1的信息；如果图像来源组别不同，则给予网络输入标签为0的信息；

首先将预处理后的任意两组图像进行resize处理，输入初始网络权重，通过孪生神经网络的卷积层和池化层进行对两组图像的特征提取，获取到统一尺度下的不同图像数据的特征信息，将特征信息一维化，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出图像数据相似度数值，利用标签信息和图像数据相似度数值来计算交叉熵损失函数来进行反向传播更新权重信息，直到得到预期的loss值停止训练；

关键帧提取模块

对于新的图像，将其预处理并进行对脑肿瘤区域的分割标注后，与同一方向的关键帧图像输入VGG孪生网络模型进行图像数据进行特征提取，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出此图像与关键帧图像数据相似度数值，在与同一方向的n幅关键帧图像进行相似度比较时，如果任一次相似度数值结果小于0.5，即排除此图像为此方向上的图像的关键帧，否则，将此新的图像归类为同一方向上的关键帧，实现关键帧的智能抓取，其中，n＞5。