[发明专利]使用深度神经网络的计算机辅助诊断

说明书

描述了一种用于确定3D图像数据中的病理的计算机实现的方法，其中，该方法可以包括：接收身体部位的至少第一3D图像，3D图像包括与预定图像体积相关的体素；第一3D卷积神经网络确定感兴趣的体积(VOI)在第一3D图像的图像体积中的位置，VOI与身体部位的病理相关，VOI定义图像体积的子体积；通过选择第一3D图像的具有由第一3D卷积神经网络确定的VOI内的位置的体素来确定第一VOI体素，并将第一VOI体素提供到第二3D卷积神经网络的输入；第二3D卷积神经网络基于至少第一VOI体素确定目标标签值，目标标签值指示VOI中存在或不存在病理；以及通过将由第二3D卷积神经网络确定的目标标签值与代表病理描述的文本和/或句子进行关联，生成医学报告。

技术领域

本发明涉及使用深度神经网络的计算机辅助诊断，并且特别地但非排他地涉及用于使用深度神经网络的计算机辅助诊断的方法和系统以及使用这样的方法的计算机程序产品。

背景技术

计算机辅助诊断(CAD)是一种用于提供客观的意见以帮助医学图像解释和诊断的计算机化程序。在这样的程序医学图像中，例如将患者的MRI图像提供到程序的输入，该程序被配置为检测(即，定位)图像中的某些明显的结构和部分，并随后根据病理分类评估检测到的结构和部分。通常，常规的图像处理技术(诸如特征分析和对象跟踪)用于检查图像并从图像中提取有用的信息。然而，特征分析在很大程度上取决于问题的类型和需要处理的图像数据的类型。为了解决这些问题，最近将深度神经网络用于图像分析，从而允许直接检测和识别2D图像中的特征。

例如，Cheng et al,“Computer-Aided Diagnosis with Deep LearningArchitecture:Applications to Breast Lesions in US Images and PulmonaryNodules in CT Scans”,Nature Scientific Reports,15April 2016中，描述了一种计算机辅助诊断的研究，其使用一种称为“堆叠式降噪自动编码器(Stacked Denoising Auto-Encoder，SDAE)”的特定深度神经网络结构对良性和恶性结节/病变进行鉴别诊断。使用图像中的预选区域(感兴趣的区域或ROI)对深度神经网络进行了训练，这些预选区域包括标记的结节或病变。研究表明，基于深度神经网络的CAD系统的性能执行得优于某些常规的基于纹理的CAD系统或至少与其匹配。

因此，为了诊断病理，可以将2D医学图像(例如DICOM“切片(slice)”)输入经过训练的深度神经网络。然而，解剖结构不限于2D平面，而是具有3D结构，对于医生而言，接收在三个维度上的关于诊断的信息是有利的。为了获知这些3D结构，需要3D模型。直接将3D图像数据而不是2D图像数据供应到经过训练的神经网络的输入将是有益的。

然而，将深度神经网络技术从2D(像素)空间扩展到3D(体素)空间并有效地生成经过训练的深度网络(其中所述深度网络可以以足够的精度处理3D图像数据，从而可以用作可靠的诊断工具)，这并不是显而易见的，并且由于3D建模所需的巨大计算需求，因此提出了严峻的挑战。例如，典型的MRI 2D“切片”包括512*512＝262K像素，而完整的3D系列(包含200个“切片”)包括200*512*512＝5.2M体素。因此，对于大的3D数据集，处理量变大并且常常是不可克服的负担，这严重地阻碍了在3D图像数据集上的实际应用。