[发明专利]一种基于改进Faster RCNN的显微高光谱白细胞检测方法

权利要求书

1.一种基于改进Faster RCNN的显微高光谱白细胞检测方法，其特征在于，步骤如下：

(1)建立白细胞数据集：使用显微高光谱系统采集血液涂片的伪彩图像以及光谱图像，对伪彩图像进行颜色矫正，并对五类白细胞进行框选和类别的标注，对光谱图像进行黑白矫正，制作为训练数据集及验证数据集；

所述的伪彩图像由667.4、557.2和440.5三个波段分别代表R，G，B三个通道来合成的RGB图像，对伪彩图像使用Gamma进行颜色矫正；

所述的光谱图像的黑白矫正具体指：采集一副空玻片光谱图像作为矫正使用的白色参考图像，即规定空白玻片的光谱反射率为最高值；将光谱相机的镜头盖盖上，关闭光源，采集一幅纯黑环境下的光谱图像，作为矫正的黑色参考图像，即规定该无光环境下的光谱反射率为最小值；之后将所有的光谱图像的数据基于白色参考图像和黑色参考图像进行归一化处理，得到矫正后的光谱图像；图像视野内的每一个白细胞都会被框选并基于对应的分类标签；对于每一张图像来说，最终的数据集包括一张伪彩图像、一张光谱图像、一个包含该图像中所含白细胞的定位框坐标和分类标签的属性文件；

(2)构建伪彩图像特征提取网络：采用Resnet18作为Faster RCNN的特征提取网络；

Resnet 18以3*3的小卷积核进行搭建，网络内部的特征提取模块为Conv Block块和Identity Block块，二者交叉排列，Conv Block块用来对图像进行压缩，Identity Block块不会对图像尺寸做出改变，两个特征提取模块将提取出的特征与原始特征相结合，得到公共特征层；

光谱图像的特征提取网络采用基于1*3卷积核的Conv1D+MaxPooling1D层的形式进行搭建；

(3)构建RPN提议网络，负责自动生成初始的目标先验框，以及对目标先验框进行初步的分类和后续根据目标先验框最终筛选得到建议框，并在公共特征层截取相应特征；

伪彩图像在经过图像特征提取网络后得到的公共特征层有两个应用，公共特征层的第一个用途是将其经过一次3*3尺寸卷积，之后继续分为两个网络分支，其一用来对每个点生成9个先验框；其二生成每个先验框与真实标注框的偏差值；之后这两组特征被相继传入propasal与ROI Pooling层中分别进行先验框的初步分类与最终建议框的筛选；公共特征层的第二个用途是输入到ROI Pooling层中，根据筛选出的建议框截取相应的特征块，并统一特征快尺寸，得到最终的目标特征；

(4)构建建议框坐标返回网络分支：采用全连接层来搭建建议框坐标返回网络分支，并对其进行解码，用于得到目标特征块在原图上的坐标值；

(5)构建光谱数据提取模块：使用Faster RCNN检测网络末端定位框坐标分支得到的四个坐标值作为光谱提取数据模块的输入，按照该坐标截取光谱图像中对应区域的全波段数据，之后求其平均光谱值，得到平均光谱曲线作为光谱特征提取网络的输入；

伪彩图像输入到Faster RCNN网络经过Resnet 18提取完特征后，经过RPN网络，RPN网络会判定图像中哪些区域为细胞主体，并得到大小不等的特征块，在经过ROI Pooling层后，由网络提议的特征块被转化为统一的尺寸；之后的Faster RCNN分为两支，一支为预测定位框坐标的返回网络，用于学习并返回预测出的细胞定位框的四个坐标以及和属性文件中标注定位框坐标的偏差值；另一支为细胞五分类的分类网络；光谱数据储存在raw类型的图片文件中，该文件类型是将光谱图片中所有像素在各个波段对应的反射率数值首尾相接的排列成一维列表，需要先将其按照图像的长×高×波段数的格式重新排列为一个三维的数据块，之后利用基于伪彩图像得到的细胞预测坐标框的四个坐标值截取出对应的像素点以及其在所有波段的反射率数值，在每一个波段下求取所有像素点的反射率平均值，得到一个平均光谱曲线，作为光谱特征网络的输入；

(6)构建光谱特征提取网络：额外构建一维光谱数据特征提取网络，输出为一维的光谱特征；

经过光谱数据提取模块得到的各细胞的平均光谱曲线为一维数据，因此面向光谱的特征提取网络选用Conv1D进行搭建；该网络以Conv1D+Max Pooling的结构搭建，对350维的光谱数据进行了压缩，在得到特征层后，进行Flatten操作，得到一维全特征层，再连接一个全连接Dense层，之后再与Faster RCNN末尾细胞分类分支中的伪彩图像特征层相连接；

(7)特征融合网络的构建：光谱特征提取网络末端提取出的特征与Faster RCNN末端基于细胞伪彩图像分类的特征层相融合，之后再连接整体的分类网络，实现基于细胞图像空间和光谱的融合特征进行分类的目的；

Faster RCNN的分类分支中在使用softmax层进行分类之前，会将RPN层得到的特征块进行flatten操作变成一个一维的特征层，光谱特征提取网络的最后一层同样是一维的特征层，将两个特征层按照1:1的权重进行拼接，得到一个包含空间和光谱特征在内的融合特征层，之后再接softmax的分类层，实现基于融合特征的分类。