[发明专利]一种基于深度强化学习的纳米成像的图像配准方法

说明书

本发明属于纳米成像技术领域，具体为一种基于深度强化学习的纳米成像的图像配准方法。本发明方法包括构建深度强化学习网络模型、利用该网络进行图像配准；网络模型包括两个分支；一个分支包括一个全连接层，输入为动作序列；一个分支包括两个卷积层和池化层，输入为选取的参考图片和待配准图片；输出为表示策略函数的的动作概率分布；图像配准部分，设计8种动作序列来对待配准的图像进行微调；具体包括：对待配准图像进行重采样；将待配准图像和参考图像和重采样图像输入构建的网络模型中，输出策略动作的概率分布。本发明速度快、精度高、鲁棒性好、适应性强；全自动进行图像配准，摆脱了手动标记的麻烦。

技术领域

本发明属于纳米成像技术领域，具体涉及一种纳米成像的图像配准方法。

背景技术

利用深度强化学习方法提取纳米成像的图像配准方法。图像配准是使用某种算法，基于某种评估标准，将一副或多副图片(局部)最优映射到目标图片上的方法，属于软件方法领域。

深度强化学习方法，涉及到深度学习中的神经网络结构和强化学习的控制策略，属于软件方法领域。

由于步进电机的抖动，以及X射线长时间的照射等等其他因素的影响，每张经过X射线透射后形成的图片都会在准心处略有偏移。在处理纳米成像的图像时，为消除由于步进电机抖动或其他原因造成的失准，需要对图像进行配准。

图像配准的基本分类是：(1)基于灰度的图像配准；(2)基于特征的图像配准。具体的图像配准算法是基于这两点的混合或者变体的算法。通常，图像配准技术包括四个方面：变换模型、特征空间、相似性测度、搜索空间和搜索策略。

依据这四个特性，图像配准的步骤一般可分为以下五个步骤：

(1)根据实际应用场合选取适当的变换模型；

(2)选取合适的特征空间，基于灰度或基于特征

(3)根据变换模型的参数配置以及所选用的特征，确定参数可能变化的范围，并选用最优的搜索策略；

(4)应用相似性测度在搜索空间中按照优化准则进行搜索，寻找最大相关点，从而求解出变换模型中的未知参数；

(5)将待配准图像按照变换模型对应到参考图像中，实现图像间的匹配。

其中，如何选取合适的特征进行匹配是配准的关键所在。以基于特征的图像配准为例，流程为：

(1)特征检测

图像配准过程的一项重要任务。根据问题的复杂性，通常分为手动或自动检测，但通常优先选择自动特征检测。封闭边界，边缘，轮廓，线交点，角点，以及它们的代表点如重心或线末端(统称为控制点)可以作为特征。由特殊对象组成的这些特征必须易于检测，即特征将是物理上可解释和可识别的。参考图像必须与浮动图像共享足够多的共同特征集合，而不受到任何未知遮挡或意外改变的影响。用于检测的算法应该足够稳健，以便能够在场景的所有投影中检测相同的特征而不受任何特定图像变形或退化的影响。

(2)特征匹配；

该步骤基本建立在对待配准图像与在参考图像中检测到的特征之间的对应关系上。除了特征之间的空间关系之外，还采用不同的特征描述符(feature descriptor)和相似性度量来确定配准的准确性。必须合理地配置特征描述符，使得它们在任何退化时仍保持不变，与此同时，它们需要不受噪声影响且能适当区分不同的特征。

(3)图像变换模型的评估

为配准浮动图像与参考图像，需要估计映射函数的参数。使用从前一步骤获得的对应特征来计算这些参数。映射函数的选择，取决于图像采集过程和预期图像变形的先验知识。在没有任何先验信息的情况下，必须确保模型的灵活性。

(4)图像变换

对浮动图像使用映射进行图像变换来配准。