[发明专利]基于联合全局及局部卷积神经网络特征的双骨龄评估方法

权利要求书

1.一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，所述方法包括：

获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；

构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；

根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；

根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；

根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；

将目标性别特征与手部全局特征通过第一全连接层进行拼接，得到第一拼接特征，将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征；

对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；

将N个骨骺局部特征，输入GCN网络获得N个深加工局部特征；将每个深加工局部特征分别与拷贝的性别特征拼接获得第二拼接特征，将所有第二拼接特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

2.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，第一卷积神经网络以多张手骨全图样本作为输入，以骨龄确定值作为监督对第一卷积神经网络进行训练得到，其中骨龄确定值由GP图谱法进行确定。

3.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，第二卷积神经网络以同一手骨全图中固定生物解剖位置的待评级骨骺区域图像样本作为输入，以骨骺区域RUS成熟度确定值作为监督对第二卷积神经网络进行训练得到，其中骨骺区域RUS成熟度确定值由RUS计分法进行确定。

4.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，所述方法还包括：每一个局部骨骺图依次输入第二卷积神经网络中并共享网络权值，然后同时输入到GCN网络进行信息交换和融合，输出包含上下文信息的深加工局部特征，基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

5.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，骨骺区域图像的获取步骤包括：

对手骨全图样本进行手部关键点检测，得到多个根据固定生物解剖位置的关键点坐标，根据关键点坐标裁切出对应的骨骺区域图像。

6.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，获取关键点坐标中的手指掌骨两端关键点，以手指掌骨两端关键点连线方向将手骨全图样本旋转至中指掌骨两端关键点连线方向垂直于水平方向的方向获得矫正手部图像，其中，该矫正手部图像是标准化的手骨全图；

以关键点为中心，根据预设长宽比例在矫正手部图像中裁剪出对应的骨骺区域图像。