[发明专利]一种基于超高光谱分辨率的成像方法

说明书

技术领域

本发明涉及成像领域，尤其是涉及了一种基于超高光谱分辨率的成像方法。

背景技术

在各种医学成像技术中，图像数据主要通过内窥镜和其他集成硬件进行收集，它能够提供实时纹理和颜色信息。通过对图像数据分析，可以提取组织表面形状从成像模式(如CT和MRI)记录和手术前的信息。这些信息对于帮助手术计划、指导、对于微创治疗和机器人手术中的决策有重要意义。因此，成像的方法，如多功能/高光谱成像(MSI/HSI)等手术光学模式也具有重要的意义临床，例如它们可以应用在血管可视化的窄带成像、术中灌注监测、临床决策的氧饱和度以及组织分类和病理学鉴定。然而，传统的成像方法空间分辨率不够，图像质量较差，因此需要一种更好的成像方法来代替。

本发明提出了一种基于超高光谱分辨率的成像方法，先由交替的结构照明和白光照明图像组成采集的帧，再使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合进行组织表面特征跟踪和形状测量，接着从RGB图像恢复多功能成像堆栈和从RGB图像和稀疏光谱信号中恢复高光谱成像堆栈，最后进行训练和预测。本发明增加输入图像的空间分辨率，又将结构照明和运动结构结合在图形处理器上，提高了重建密度和鲁棒性，因此图像质量大大提高。

发明内容

针对空间分辨率不够，图像质量较差的问题，本发明的目的在于提供一种基于超高光谱分辨率的成像方法，先由交替的结构照明和白光照明图像组成采集的帧，再使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合进行组织表面特征跟踪和形状测量，接着从RGB图像恢复多功能成像堆栈和从RGB图像和稀疏光谱信号中恢复高光谱成像堆栈，最后进行训练和预测。

为解决上述问题，本发明提供一种基于超高光谱分辨率的成像方法，其主要内容包括：

(一)交错结构照明和白光视图；

(二)组织表面特征跟踪和形状测量；

(三)高光谱分辨率成像；

(四)训练和预测。

其中，所述的交错结构照明和白光视图，使用光斩波轮实现白光和结构照明之间的快速频闪切换；白光使用两根光纤电缆：一根连接到氙气灯，另一根连接到腹腔镜；它们的自由端彼此定位，由切割轮可以通过的2mm气隙隔开；安装斩波器，使发射的超连续激光器也通过光斩波轮，并且结构照明和白光光束路径在其转动时交替地阻挡或传输；从仪器尖端出来的光在斩波频率下在结构照明和氙气之间切换；另外，使用计算机控制的信号发生装置产生可变频率和相位的两个同步方波；一个用于通过电荷耦合器件摄像机触发图像采集，而另一个则控制每个转轮的旋转频率和相位；将触发频率设置为斩波器的两倍，相位调整，使得采集的帧由交替的结构照明和白光照明图像组成；

三维打印的尖端适配器将结构照明探针安装在刚性内窥镜上；该适配器为圆柱形(直径为12mm)，两个通道分别用于容纳内窥镜和结构照明探针；这两个通道的角度和基线设置为10°和5mm，使1.5～4cm工作距离内的表面重建的三角测量精度最大化。

其中，所述的组织表面特征跟踪和形状测量，包括使用单目运动结构进行表面重建、结构照明和运动结构的重建结果相结合。

进一步地，所述的使用单目运动结构进行表面重建，一种组合基于表面的特征检测和光流跟踪方法进行对应搜索；应用几个标准排除跟踪异常值，包括特征描述符差分、流矢量长度、时间平滑度、对称光流量和基本矩阵估计中的随机抽样一致算法；对于表面重建，假设表面在一个小的时间窗内是刚性的；然后可以使用奇异值分解和检查所有四种可能的解决方案，估计两帧中的摄像机之间的相对位置以及特征点的三维位置；给定足够的对应性，可以使用两个相邻的帧对表面进行测量。

进一步地，所述的运动结构的重建结果相结合，由于每个白光图像具有两个时间上相邻的结构照明图像，所以使用从两个结构照明帧重构的平均形状，用缩放信息定位运动结构重建结果。

其中，所述的高光谱分辨率成像，包括从RGB图像恢复多功能成像(MSI)堆栈和从RGB图像和稀疏光谱信号中恢复高光谱成像(HSI)堆栈。

进一步地，所述的从RGB图像恢复MSI堆栈，RGB图像被认为是具有3个光谱通道的MSI堆叠，所提出的模型寻找从M×N×3的MSI堆栈到M×N×24的映射，其中M×N代表图像空间分辨率；这个模型由两个主要阶段组成：

(1)在频谱维度中增大输入，将四个3D转置卷积层堆叠在一起，将输入从M×N×3转换为M×N×24；