[发明专利]使用可编程光源对图像进行多类分类的系统和方法

说明书

描述了用于识别一种或多种不同组织类型的装置、系统和过程。方法可以包括将配置应用于成像系统的一个或多个可编程光源，其中，从被训练以区分图像数据中所捕获的一种或多种不同组织类型的机器学习模型获得所述配置。所述方法还包括利用配置的一个或多个可编程光源照射场景和捕获图像数据，所述图像数据包括在所述图像数据中描绘的一种或多种组织类型。此外，该方法还包括利用机器学习模型分析所捕获的图像数据中的颜色信息以识别所述图像数据中的一种或多种不同组织类型中的至少一种，以及根据所捕获的图像数据渲染所述场景的可视化，所述可视化在视觉上区分所述可视化中的组织类型。

技术领域

本公开总地涉及数字成像，并且具体地但非排他地涉及图像数据内的对象的分类。

背景技术

当通过相机捕获对象的图像时，用户可能想要在分析在相机的视野内捕获的对象时，通过调整图像的对比度、突出图像的某些特征等来增强图像。例如，可以增强图像以在不同的矿物/土壤成分(例如，在空中或地面摄影中)之间进行区分、以突出血流(例如，含氧和非含氧血液)、以执行情绪识别和/或检测、以区分手术中的解剖结构(例如，在良性和恶性组织之间进行区分)等。特别是在医学成像中，增强医学图像(在良性和恶性组织之间进行区分)增加了安全性并扩大了手术干预的范围。

具体地，在腹腔镜手术期间，外科医生将内窥镜插入患者的小切口中。当外科医生通过相同或其他切口进行手术时，内窥镜实时照射和捕获手术区域的图像，通常无需物理地观察正被操作的区域。这种外科手术和在这种外科手术期间使用的成像的一个显著问题是感兴趣的(多个)组织与其他(多个)组织之间的低对比度。例如，在切除癌组织的外科手术过程中，外科医生需要癌组织和健康组织之间的高对比度，以便可以去除癌组织，同时对周围健康组织没有/最小损害。在接近神经组织的手术中(其中需要脂肪、癌或其他组织和神经组织之间的高对比度以防止无意接触和/或去除神经组织以防止对神经系统的损害)，问题甚至更加严重。

在外科手术过程中在不同组织类型之间进行区分的一种解决方案包括将荧光染料注入患者体内，在患者体内不同的染料结合不同的组织类型。当利用来自激发激光的照射进行成像时，染料将发荧光，并且所需组织在捕获的图像数据中将显得更亮。为了在多个组织之间获得高对比度，需要针对每种类型的组织具有不同激发波长的特定染料，每种组织类型需要不同的激发激光，并且还需要针对每种组织类型的单独图像。然而，这种在不同组织类型之间进行区分的解决方案通常需要使用具有特定荧光的毒性染料，其尚未被食品和药物管理局批准用于人类，其开发是一个漫长而昂贵的过程。此外，需要特定的波长激发激光器，并且必须为每种染料/组织组合捕获图像。因此，为了获得不同类型组织之间的多类对比，激光的数量和图像的数量与要区分的组织类型的数量成线性比例。

附图说明

参考以下附图描述本发明的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个附图中指代相同的部分。附图不一定按比例绘制，而是将重点放在说明所描述的原理上。

图1是使用可编程光源对图像进行多类分类的示例性系统架构的框图。

图2是内窥镜和具有内窥镜控制器的图像处理设备的一个实施例的框图。

图3示出了使用机器学习模型以使用可编程光源执行图像的多类分类的过程的一个实施例。

图4是示出训练用于使用可编程光源对图像进行多类分类的机器学习模型的过程的一个实施例的流程图。

图5是可以与本发明一起使用的计算机系统的一个实施例。

图6示出了用于在不同组织类型之间执行多类分类的机器学习模型的拓扑的一个实施例。

图7示出了用于确定被记录的颜色像素值的示例性输入的一个实施例。

具体实施方式