[发明专利]一种基于着色分离的病理图像颜色质量综合评价方法

摘要

本发明涉及一种基于着色分离的病理图像颜色质量综合评价方法。该方法共有三大步骤，步骤一：对病理图像进行着色分离。步骤二：利用红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度四个指标对病理图像进行评价。步骤三：利用样本集训练得到神经网络模型，用该模型对测试集进行综合评价，将评价值与真值比对，并计算正确率。本发明填补了病理图像颜色质量评价的空白，利用着色分离及神经网络取得了较好的评价结果，在病理图像质量评价领域里具有广阔的应用前景。

主权项

一种基于着色分离的病理图像颜色质量综合评价方法，其特征在于：它包括以下步骤：步骤一：对病理图像进行着色分离(1)建立颜色反卷积矩阵透过样本的单色光与样本的着色量之间的关系通过下面公式表示：I_o(λ)＝I_i(λ)exp(‑A*c(λ))其中，I_o(λ)是穿过样本之后的波长为λ的光线强度，I_i(λ)是波长为λ的入射光强度，A是样本的着色量，c(λ)是某种着色的依赖于波长的吸收因子；I_o(λ)以非线性的方式依赖于样本的着色量A，所以RGB图像的三个通道的相对强度I_R、I_G、I_B均不能直接应用于每种着色的分离和测量，但每个通道的光学密度OD为：OD＝‑log(I_o/I_i)＝A*c，每种着色剂在R、G、B三个通道有相应的光学密度值，用一个3x1的OD向量来表示，则三种混合着色的颜色系统描述为如下矩阵：$\left[\begin{array}{ccc}{P}_{r1}& P_{g1}& P_{b1}\\ P_{r2}& P_{g2}& P_{b2}\\ P_{r3}& P_{g3}& P_{b3}\end{array}\right]$其中，每行代表一种着色，每列代表每种着色的一个通道；将该矩阵进行正交变换及标准化，得到的标准化OD矩阵设为M，采用经验标准化矩阵如下：$M=\left[\begin{array}{ccc}0.6500& 0.7040& 0.2860\\ 0.2681& 0.5703& 0.7764\\ 0.7110& 0.4232& 0.5616\end{array}\right]$定义反卷积矩阵D＝M^‑1，计算得：$D=\left[\begin{array}{ccc}1.8801& -0.0736& -0.5952\\ -1.0172& 1.1353& -0.4826\\ -0.5553& -0.1265& 1.5733\end{array}\right]$在该矩阵中，对角线元素大于1，而非对角线元素是负的，意味着，校正的光学密度值是通过下述方法获得的:苏木素:增强红色通道的OD值，减弱绿色、蓝色通道的OD；其他染色剂:增强绿色通道的OD，减弱红色、蓝色通道的OD；伊红:增强蓝色通道的OD，减弱红色、绿色通道的OD；由于采用的病理图像是苏木素‑伊红染色制作而成，所以着色分离之后得到的三幅单着色图像中“其他染色剂”对应的图像不予考虑；(2)求单着色信息令A为一个1×3的向量，表示一个像素点的三种着色量，每个像素点的光学密度向量设为y，y＝A*M，则单着色信息为A＝[y]*D；分别对病理图像进行着色分离求取单着色信息即得到两幅单着色图像，分别为病理图像细胞核颜色偏蓝部分与细胞质颜色偏红部分；步骤二：设计颜色质量评价指标针对两幅单着色图像的颜色特点，设计了红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标对其颜色质量进行评价；(1)红蓝对比度“红蓝对比度”评价病理图像中细胞核、质的颜色对比是否分明，公式如下：$\mathrm{RB}\_\mathrm{contrast}=\frac{d^2}{{\&PartialD;}_1*{\&PartialD;}_2}$其中，d为核、质像素集的中心点之间的欧氏距离，分别为核、质像素集的方差；由该式含义可知，“红蓝对比度”越大，细胞核、质颜色对比越鲜明；反之，核、质颜色越接近；处理3000幅320像素×260像素的病理图像，对于红蓝对比度的计算值范围为：16‑93，该值为93时，红蓝对比最明显，为16时，对比不清晰；为了后续综合评价时保持数据的统一性，将每个指标取值范围进行归一化，归一化公式如下：$X_i^{*}=\frac{X_i-X_{\min }}{X_{\max }-X_{\min }}\&times;5$编程时采用向上取整，即可将取值范围量化为1‑5等五个等级，1代表最差，5代表最好；(2)颜色偏离度由于正常染色的细胞核、质分别呈现蓝、红色，因此需要评价细胞核、质染色是否正常；分别将病理图像的核、质图像分别转换到Lab彩色空间，计算其a、b通道均值；Lab模型是惯常用来描述人眼可见的所有颜色的最完备的色彩模型，a和b的值域都是由+127至‑128，其中a为+127时就是红色，渐渐过渡到‑128的时候就变成绿色；同理，b为+127是黄色，‑128时是蓝色；由RGB空间转换到Lab空间有多种公式，采用以下经典转换公式：$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.433910& 0.376220& 0.189860\\ 0.212649& 0.715169& 0.072182\\ 0.017756& 0.109478& 0.872915\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$其中：$L=\left\{\begin{array}{cc}116*Y^{1/3}& Y>0.008856\\ 903.3*Y& Y\&lt;=0.008856\end{array}\right.$$F\left(t\right)=\left\{\begin{array}{cc}{t}^{1/3}& t>0.008856\\ 7.787*t+16/116& t=0.008856\end{array}\right.$a＝500*(f(X)‑f(Y))b＝200*(f(Y)‑f(Z))临床上给定的标准染色的病理图像，其a、b通道值选定为标准值，其值为：(a，b)＝(85，‑35)，颜色偏离度为病理图像a、b通道值组成的二维向量与标准值之间的欧氏距离，定义为：Color_Deviation＝sqrt((a‑a₁)²+(b‑b₁)²)与红蓝对比度一样，该指标取值范围为：0‑56；该距离为0时，病理图像颜色最标准，为56时，色彩偏差最大；与红蓝对比度相同，将该指标取值范围量化为1‑5四个等级；(3)颜色信息熵颜色信息熵评价核、质图像颜色的均匀度；颜色直方图及其组成的空间作为图像识别的训练集即数据库中的颜色特征；利用信息论的方法扩展基于颜色信息的图像属性特征得到颜色信息熵，根据颜色直方图的定义推出该图像的概率密度函数如下：$h\left(i\right)=\frac{N\left(C_i\right)}{N_1\&times;N_2}$其中，N(C_i)表示图像中像素颜色是C_i的像素总数；定义向量v_i为被量化的颜色i的像素在图像I中所占的百分比，它的值等于颜色i的概率密度函数p_i的值，即颜色i的直方图块，因此图像颜色信息熵由下式定义：$H\left(v\right)=-\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{v}_i\lg \left(v_i\right)$此处，该指标对细胞核、质单色图像进行独立评价，计算得细胞核图像颜色信息熵取值范围为：2.04‑3.52；细胞质图像取值范围为：2.17‑3.35，病理图像细胞核、质染色过程相同，因此均匀程度相似，为了后续计算简便，取细胞核、质颜色信息熵的均值作为病理图像颜色信息熵；熵值最小时，图像灰度最均匀，最大时，灰度分布最混乱；与上面两个指标一样，细胞核和细胞质的颜色信息熵取值范围也被量化为1‑5五个等级；(4)空隙区域破碎度空隙区域破碎度评价病理图像中空隙区域的面积及其离散程度；空隙区域面积越大，病理图像质量越差，相同面积时，破碎度越高，即空隙区域越离散，病理图像信息损失越大，质量越差；将病理图像原图中去掉单着色的核、质图像，然后进行形态学处理，先做开运算，后做闭运算，得到空隙区域图像；将该图像进行二值化，图像中有效点像素值为1，背景区域像素值为0；提取图像中连通区域，并记录其个数为单幅图像空隙区域数量统计结果n；计算上述n块连通区域面积S1，S2，…，Sn，单位面积空隙区域方差定义为：$S_M=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(S_i-S_C/n)}^2}{{S_C}^2}$式中，S_C＝S₁+S₂+…+S_n,S_C相等的两幅相异图像如果S_M1<S_M2，表示大块连续空隙区对图像的破坏程度要小于数目多且面积小的空隙区对图像的破坏度；定义空隙区域破碎度C_F为单位面积空隙区域像素在图像空间被分割的程度，根据连通区域的空隙区域数量和大小，C_F计算公式为：$C_F\left(I\right)=\frac{P_D}{S_V}=\frac{\frac{R_N\left(I\right)}{S_C/S_M}}{S_M}=\frac{R_N\left(I\right)\&times;S_C}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(S_i-S_C/n)}^2\&times;S_Z}$该指标取值范围为：23‑62，破碎度为23时，空隙区域面积小且均匀，为62时，空隙区域面积大且分布不均，同样地，将该指标值量化为1‑5；步骤三：建立BP神经网络模型在评价病理图像颜色综合质量时，将步骤二中四个特征共4个指标值作为神经网络的输入向量x＝(X₁,X₂,…,X_n)，其中，n＝4；将病理图像的颜色质量等级评分作为神经网络的输出y，定义y的取值为：5、4、3、2、1，分别对应颜色质量的优、良、中、差、很差；首先根据人眼主观打分，将病理图像的综合质量分为上述五个等级，每幅图像的等级值作为其颜色质量的真值；有了输入和输出，接下来是BP神经网络模型的训练和测试；评价模型中输入为病理图像颜色质量的四个指标值，故输入神经元数目P_n＝4，模型输出为图像的综合质量等级，故输出神经元的个数r＝1；选取了结构相对简单的3层BP网络，处理了3000幅病理图像，将病理图像随机分为训练样本集与测试集；具体训练和测试过程如下：(1)训练过程将样本集中每幅图像的四个颜色评价值作为一个向量输入到三层神经网络中，样本的主观颜色质量真值作为输出；通过反复迭代，学习得到神经网络持有的权系数值W_ij和阈值θ_j的正确内部表示；(2)测试过程测试神经网络模型时，利用上述步骤中训练得到的神经网络模型对测试集中病理图像进行综合评价；将测试集中病理图像的四个颜色指标值输入到神经网络中，得到该图像的综合质量评分；(3)计算正确率将算法对图像的评价值与图像的主观真值进行比对，计算出神经网络模型评价的正确率，公式为：$\mathrm{Accuracy}=\frac{\mathrm{error}\_N}{\mathrm{Total}}$其中，error_N为神经网络评价值与主观分类值不同的个数，Total表示参与评价的病理图像总数；对3000幅病理图像采取五折交叉验证的方法测试神经网络模型的评价准确度，正确率为90.4％。