[发明专利]基于多模式深度学习的医学图像分类装置及其构建方法

说明书

本发明公开了一种基于深度学习的医学图像分类装置及其构建方法。所述装置包括输入模块、粗分模块、细分模块、整合模块和显示模块，其中粗分模块包括区域卷积神经网络RCNN，细分模块包括识别原始图像的第一循环卷积神经网络rCNN1、将图像转换为HOG图的方向梯度直方图模型以及识别HOG的支持向量机SVM、高斯混合模型GMM和第二循环卷积神经网络rCNN2，整合模块包括例如GMM的综合分类器，用于将细分模块的四个分类器输出的各个区域的识别置信分数作为一个输入向量经加权后输入，得到各个区域的最终识别置信分数。

技术领域

本发明涉及深度学习和图像识别领域，具体涉及基于多模式深度学习的医学图像的分类装置及其构建方法。

背景技术

深度学习已经在单一图像分类和图像搜索领域有成功应用，并在医学领域有了快速发展，如谷歌对通过对乳腺癌CT图像的深度学习，使得乳腺癌人工智能排查准确率能够达到或超过肿瘤科医生。然而，深度学习由于自身模型的未知参数量很大，因而对训练数据量的要求十分巨大。而另一方面，标记医学图像的成本高昂而且数量有限，特别是病程演变的标记图像需要病人不同阶段的数据，往往需要在不同医疗机构收集数据，使得标记医学图像数据难度很大而且数据数量也很难满足深度学习的要求。

在临床实践中，疾病早期的正确病理病程分类对提高治愈率是极为重要的。目前主要由医生通过病理形态对CT或X射线图像根据其经验做主观判断。已有的深度学习方法也是通过对原始图像的专家标定结果进行监督学习分类，一些疾病的中后期自动分类结果目前可以接近医生。但由于没有强化学习医生肉眼容易忽略的特征，并且由于病程早期的正常和病变组织形态区分度不大，以及缺乏生物组织病变的统一参考标准，因而不能更进一步提高准确率，使得特别对于早期疾病容易产生假阴性或假阳性的误判断。

例如，肺癌患者死亡率取决于早期诊断和治疗，早期肺癌的肺结节检测是肺癌早期诊断的关键，但同时正常肺组织和血管也可以在CT影像中以肺结节出现。目前计算机辅助诊断(CAD)系统和医生专家对中期早期的诊断很容易产生假阴性或假阳性的判断。

例如，中国发明专利申请CN104866727A公开了一种基于多层卷积网络 的医学影像分类方法，又如CN106372390A公开了一种对肺部疾病深度学习的云端服务系统。这些方案虽然能够对肺部疾病特征展开深度学习，但因为没有有效利用病变组织自身梯度向量信息以及和周围健康组织之间的相关性和相对变化(揭示生物现象的相互联系)来提高深度学习的特异性和鲁棒性，因此特别是在训练图像数据数量有限的情况下，即使得到一个训练好的神经网络，其对病程分类的鲁棒性和准确性也难以令人满意，而且很难在实际应用中接近或超过医生。

深度学习是基于大数据的学习，然而医学图像由于医疗机构信息分享度，患者隐私等因素不易得到海量数据，同时医院数据多是已经确诊的晚期病人，而病人随病程发展也常常会更换医疗机构，因此早期病程和完整病程的图像和数据就更为稀少，极大限制了深度学习在医学图像识别领域的应用。

发明内容

有鉴于此，本发明提出一种基于多模式深度学习的医学图像分类装置及其构建方法，利用某一特定病理状态通常会伴随附近组织多个复杂的生物现象同时发生，且多个生物现象的关联具有区域性的特点，利用多个不同类型的分类器的组合来控制学习模型的复杂度，高效提炼输入图像的特征，并结合病理学的先验知识实现对病变组织与正常组织对比归一化后的梯度的强度和角度分布进行深度学习和细节分类，从而减少对训练数据量的要求。

在本发明的第一方面，提供一种基于多模式深度学习的医学图像分类装置，包括：

1)输入模块：用于输入待检测的原始医学图像；

2)粗分模块：用于利用区域卷积神经网络(RCNN)对输入模块输入的原始医学图像进行区域分割和区域分类处理，得到病变组织区域和正常组织区域以及各个区域的第一识别置信分数；

3)细分模块：包括