[发明专利]基于掩膜区域卷积神经网络的荧光编码微球图像检测方法

权利要求书

1.一种基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，步骤如下：

步骤1：微球图像获取：将多种携带已知编码荧光信息的微球和对应待检物质置入同一液相反应体系中，令微球表面探针分子与对应待检物发生免疫反应相结合，反应一段时间后，利用陷阱芯片俘获微球，将微球固定在陷阱芯片上，首先使用980nm波长激光对陷阱芯片进行扫描，激发微球内部荧光物质，利用电荷耦合器件(Charge-coupled Device,CCD)图像传感器获得待检物定性图像；然后使用激光激发微球表面待检物结合的荧光分子，利用CCD图像传感器获得待检物定量图像；反复重复实验过程，获得多对定性和定量图像，将定性图像和定量图像分开，分别构成荧光编码微球定性图像集和定量图像集；

步骤2：图像裁剪与标注：对步骤1中获得的荧光编码微球定性图像集进行剪裁处理，剪裁成指定大小的图像组成未标注定性图像集，然后由专业人士对未标注图像集进行标注，标注信息包括每个微球轮廓多边形的所有顶点坐标和微球种类，标注结果保存，微球图像和标注信息共同构成有标注定性图像集；

步骤3：训练样本集与测试集建立，将有标注定性图像集按比例随机划分为两部分，其中一部分作为训练样本集，用于模型训练；另一部分作为验证样本集，用于模型评估；

步骤4：掩膜区域卷积神经网络搭建：掩膜区域卷积神经网络由特征提取骨干网络、候选区域提案网络、候选区域分类网络、掩膜生成网络四部分构成，首先一幅输入图像被送入特征提取骨干网络用于提取整幅图像的图像特征；得到的特征图被送入候选区域提案网络中生成待检测框，并对生成的待检测框进行第一次修正；最后将候选区域提案网络的输出，分别送入候选区域分类网络和掩膜生成网络，对候选区域进行分类，进一步修正目标框范围，预测掩膜区域；

步骤5：网络训练和验证，利用随机梯度下降法进行训练掩膜区域卷积神经网络；

步骤6：图像采集与分析，利用CCD图像传感器采集一对定性和定量图像，将定性图像输入Mask R-CNN网络，得到输出掩膜，使用输出掩膜作为定量图像的分类准则，提取出定量图像中属于各种类待检物的像素，各种类像素灰度值取平均后作为该种类待检物浓度分析指标。

2.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，特征提取骨干网络采用深度残差网络结构ResNet(Deep Residual Network)，候选区域提案网络采用卷积神经网络结构，由两条分支构成，一条分支网络判断生成的候选区域内容为前景还是背景，另一条分支用于修正候选区域框范围，输出特征图将首先进行感兴趣区域ROI(Region of Interest)区域校准，校准后的特征图将被分别输入至候选区域分类网络和掩膜生成网络中，候选区域分类网络由全连接神经网络构成，也有两条分支分别用于区域分类和区域框回归，掩膜生成网络由全卷积神经网络构成，会为每一个目标种类生成一个掩膜。

3.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，掩膜区域卷积神经网络网络的损失函数为：

L_final＝L({p_i},{t_i})+(L_cls+L_box+L_mask)

其由两部分构成，前半部分为候选区域提案网络的损失函数

包括分类层损失

框回归损失

上述公式中，N_cls表示训练批次中样本个数，N_reg表示回归候选框数量；表示分类层损失，表示框回归损失；p_i表示由网络计算出候选框为前景的预测概率，表示候选框的真实标签，如果框内容为前景则为1，框为背景则为0；t_i表示网络计算的框回归坐标，表示框真实坐标；λ为权重，用于平衡两部分损失比重；x,y,w,h表示候选框的四个顶点；

网络损失函数的后半部分为候选区域分类网络和掩膜生成网络损失，其中L_cls与分类层损失相同，L_box与框回归损失相同，掩膜生成网络损失采用平均二值交叉熵损失函数。