[发明专利]基于多模态信息的肺癌识别方法、装置及存储介质

说明书

本发明提供一种基于多模态信息的肺癌识别方法、装置及存储介质，包括：获取当前患者的临床数据，对所述临床数据依次进行结构化处理和临床特征处理，基于MLP对处理后的临床数据进行临床特征提取；获取当前患者的影像数据，对所述影像数据进行预处理，基于R‑CNN对预处理后的病灶特征提取；对所述临床特征和病灶特征进行特征融合后进行计算，基于MLP得到肺癌输出结果。在对肺癌识别中会结合临床数据和影像数据进行识别，具有较高的敏感性和特异性，使得识别结果准确。

技术领域

本发明涉及肿瘤识别技术，尤其涉及一种基于多模态信息的肺癌识别方法、装置及存储介质。

背景技术

在现有技术肺癌的识别方案中，传统的方案主要是基于手工设计的特征，影像组学特征、患者的基本信息等，如梅奥肺癌风险评估模型，用到了患者的年龄、吸烟史、毛刺征、尺寸和位置等信息，基于手工和医学经验提取的特征，可解释性较强，但相对于深度学习自动识别的方法来说效果一般，且需要较为深厚的医学背景知识，实施的代价比较高。

目前较为主流的是基于深度学习算法对CT影像数据自动提取特征，识别出疑似病灶并给出良恶性的判别，准确率较高，但可解释性较差，并且有一定的局限性，因为肺部病灶存在“同病不同征，同征不同病“的问题，如陈旧性肺结核和肺癌病灶具有高度的相似性，单从影像特征很难区分两者的不同。

当前，亟需一种能够有效的肺癌识别方法。

发明内容

本发明实施例提供一种基于多模态信息的肺癌识别方法、装置及存储介质，在对肺癌识别中会结合临床数据和影像数据进行识别，具有较高的敏感性和特异性，使得识别结果准确。

本发明实施例的第一方面，提供一种基于多模态信息的肺癌识别方法，包括：

获取当前患者的临床数据，对所述临床数据依次进行结构化处理和临床特征处理，基于MLP对处理后的临床数据进行临床特征提取；

获取当前患者的影像数据，对所述影像数据进行预处理，基于R-CNN对预处理后的病灶特征提取；

对所述临床特征和病灶特征进行特征融合后进行计算，基于MLP得到肺癌输出结果。

可选地，在第一方面的一种可能实现方式中，所述临床数据包括病历信息；

所述对所述临床数据依次进行结构化处理和临床特征处理包括：

获取病历信息的信息点位，对所述信息点位的点位名称进行归一化处理；

提取归一化处理后的信息点位得到结构化处理后的病历信息。

可选地，在第一方面的一种可能实现方式中，所述对所述临床数据依次进行结构化处理和临床特征处理包括：

提取所述结构化处理后病历信息中的特征；

对所述特征进行量化和\或标准化处理。

可选地，在第一方面的一种可能实现方式中，所述基于MLP对处理后的临床数据进行临床特征提取包括：

所述MLP为3层神经网络，神经元个数依次为1024，512，512，基于以下公式获得临床数据中的临床特征，包括：

Loss(x_i,y_i)＝-w_i[y_ilogx_i+(1-y_i)log(1-x_i)]

其中，x_i为临床数据，y_i为预测的良恶性标签，w_i为权重。

可选地，在第一方面的一种可能实现方式中，所述获取当前患者的影像数据，对所述影像数据进行预处理包括：