[发明专利]一种基于受限玻尔兹曼机的乳腺图像特征融合方法

摘要

本发明涉及一种基于受限玻尔兹曼机的乳腺图像特征融合方法，首先通过堆叠自编码器深度学习分别获取乳腺钼靶、乳腺B超的高层语义特征，然后利用受限玻尔兹曼机模型提取乳腺B超、钼靶的不同模态图像的共享特征表示。本发明所提出的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，以无监督的训练方式获取乳腺B超、钼靶的不同模态统计属性之间的联合分布，可以充分利用大量的无标签数据，弥补了目前好多特征融合方法过度依赖于样本类标签的缺陷，具有较强的实用性。

主权项

1.一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于：包括以下步骤：步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S3：将所述步骤S1中获取的乳腺钼靶图像不同视角的高层语义特征级联，得到乳腺钼靶多视角融合后的高层语义特征；步骤S4：将所述步骤S2中获取的乳腺B超图像不同视角的高层语义特征级联，得到乳腺B超多视角融合后的高层语义特征；步骤S5：将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型；步骤S6：所述FUSION_RBM模型训练完成后，给定一待测样本(f_mod¹，f_mod²)，根据以下公式获得融合特征表示：其中，h_j为隐层h第j个单元，f_mod^t_i为模态t图像特征第i个单元，w^t_ij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，b^h_j为隐层h中第j个单元的偏置，σ表示sigmoid函数。