[发明专利]器官的建模方法、图像分类装置和存储介质

说明书

本公开提供了器官的建模方法、图像分类装置和非暂时性计算机可读存储介质。该方法包括：获得器官所在部位的第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列，第一方位、第二方位和第三方位彼此之间的夹角相对于彼此正交的角度偏差范围在0度与45度之间；构造三路分类支路，每路分类支路被配置为：分别接收第一方位的2D图像序列、第二方位的2D图像序列和第三方位的2D图像序列的相应方位的2D图像序列作为输入，基于输入利用卷积神经网络提取第一图像特征，基于第一图像特征利用递归神经网络提取第二图像特征，将提取的第二图像特征馈送到相应的分类器以获得该路分类支路的分类信息；构造融合部，融合各路分类支路的分类信息。

技术领域

本公开涉及医学图像处理的技术领域，具体地，涉及器官的建模方法、图像分类装置和非暂时性计算机可读存储介质。

背景技术

目前，已知一些基于医学图像对诸如肺炎的疾病进行自动筛查的方法。

以肺炎和新冠肺炎的筛查为例。一些自动筛查方法从CT的2D图像序列中选择n张图像输入到预先训练好的第一肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；将患有肺炎的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠肺炎的分类结果。这种方法的缺点是，(1)原始CT图像张数不一，差别较大，只从CT序列中选取n张，原始肺炎病灶信息会有丢失；(2)模型结构为串联的结构，第一步肺炎判别不准的话，对后面新冠肺炎判断造成影响；(3)选中的n张图像直接输入门控循环单元(GRU)时序神经网络，n较大时GRU通常不能很好的处理特征，n较小时，原始影像中的信息大部分未使用，严重影响诊断效果。

这些自动筛查方法通常采用串联的模型结构，先利用深度学习检测模型对CT的肺部病变区域进行检测，仅仅将检测出肺部病变的区域的图像送入第二阶段网络来进行诸如新冠肺炎的诊断。肺部病变区域的检测存在误差，未检测出来的肺部病变区域不会送入第二阶段网络，检查的误差会严重影响第二阶段网络的判断。第二阶段网络只使用预测出肺部病变区域的中间几层层图像，忽略了肺部病变的大小与跨层不一的信息，有严重的信息丢失，影响分类效果。

虽然也发展了一些利用3D卷积神经网络进行肺炎诊断的自动筛查方法，但这类自动筛查模型存在各种问题，诸如高显存占用，耗时，计算负荷大以及z轴分辨率低引入的精度下降的问题。另外，另一方面，因为3D卷积神经网络在z轴也会进行下采样，当肺部病变区域较小时，容易损失病变信息，例如漏掉病灶，因而不利于后续的诊断判别。

发明内容

本公开克服或至少减轻了上述现有技术存在的技术问题。

本公开的目的是提供这样一种能够基于CT图像自动筛查器官病变的建模方法和装置，其通过采用3个2D结构并联的模型结构，充分学习三个具有预定空间关系的不同切面(例如，横断位、矢状位和冠状位)上的特征，使三个切面上的特征能够相互弥补促进，且充分利用了LSTM网络层对层与层之间的关系进行建模，全面考虑到肺部病变区域大小以及跨层的信息，从而能够得到优于3D深度学习网络的筛查准确度，原因在于，Z轴下采样信息丢失导致的3D深度学习网络模型对于小病灶效果不佳。同时，本公开的实施例所描述的3个2D结构并联的模型结构又避免了3D模型所固有的缺点，例如训练时间长，计算负荷大，计算和显存资源占用等问题。