[发明专利]利用三元组损失和预测区域识别和定位图像的方法和介质

说明书

利用三元组损失和预测区域识别和定位图像的方法和介质。提供了一种使用神经网络对图像特征进行分类的方法和系统。该方法包括：使用三元组损失处理来训练神经网络，其包括：接收锚图像，选择正图像和负图像，生成与锚图像、正图像和负图像中的每一个关联的图像嵌入，基于锚图像的图像嵌入对从锚图像提取的图像特征进行分类，确定与分类的图像特征关联的图像标签位置，提取与所确定的图像标签位置关联的特征，并且对与所确定的图像标签位置关联的特征进行分类；以及使用加权损失和将多标签损失与局部图像分类损失和三元组损失组合。

技术领域

本公开涉及图像分析，更具体地，涉及自动地识别和定位图像区域的系统和方法。

背景技术

在现有技术的应用中，医学图像中疾病的识别和定位已应用于医学图像中疾病的分割。此外，其还可用于将医学报告中疾病的文字描述与报告中所讨论的图像区域关联起来。现有技术方法已允许器官的自动分割。通过了解图像中出现了哪些疾病以及各个疾病的近似位置，可将器官分割方法应用于疾病分割。继而，这将改进测量医学图像中的疾病大小的效率。

此外，在现有技术中，执行疾病定位的能力还允许对放射科医师或医生的报告中描述的疾病或异常状况在医学图像中的位置进行链接或高亮。这可有助于改进医生及其患者对医学报告的理解。尽管存在疾病的存在被标注的多个医学数据集，但是很少有疾病位置的标注。因此，可取的是开发一种需要很少(如果有的话)疾病位置的标注(例如，指示疾病区域的边界框)的系统。

发明内容

本申请的各方面可包括一种使用神经网络对图像特征进行分类的方法。该方法包括以下步骤：使用三元组损失处理来训练神经网络，其包括：接收锚图像以及与锚图像关联的图像标签，锚图像要用于训练神经网络；选择正图像以及与正图像关联的图像标签，正图像具有与锚图像共享的至少一个图像标签；选择负图像以及与负图像关联的图像标签，负图像没有与锚图像共享的图像标签；使用图像特征嵌入网络来生成与锚图像、正图像和负图像中的每一个关联的图像嵌入；通过神经网络基于锚图像的图像嵌入对从锚图像提取的图像特征进行分类；以及基于与锚图像、正图像和负图像中的每一个关联的图像嵌入来计算三元组损失，以确定图像特征的分类加权；使用所训练的神经网络来对不具有任何关联的标记特征的测试数据图像的图像特征进行分类。

本申请的附加方面可包括一种使用神经网络对图像特征进行分类的方法。该方法包括以下步骤：使用三元组损失处理来训练神经网络，其包括：接收锚图像以及与锚图像关联的图像标签，锚图像要用于训练所述神经网络；使用图像特征嵌入网络来生成与锚图像关联的图像嵌入；通过神经网络基于锚图像的图像嵌入对从锚图像提取的图像特征进行分类；确定与所分类的图像特征关联的图像标签位置；提取与所确定的图像标签位置关联的特征；使用神经网络对与所确定的图像标签位置关联的特征进行分类；以及确定与所确定的图像标签位置所关联的特征关联的局部图像分类损失；使用所训练的神经网络对不具有任何关联的标记特征的测试数据图像的图像特征进行分类。

本申请的另外的方面可包括一种非暂时性计算机可读介质，其编码有用于使得计算机执行使用神经网络对图像特征进行分类的方法的指令。该方法包括以下步骤：使用三元组损失处理来训练神经网络，其包括：接收锚图像以及与锚图像关联的图像标签，锚图像要用于训练神经网络；选择正图像以及与正图像关联的图像标签，正图像具有与锚图像共享的至少一个图像标签；选择负图像以及与负图像关联的图像标签，负图像没有与锚图像共享的图像标签；使用图像特征嵌入网络来生成与锚图像、正图像和负图像中的每一个关联的图像嵌入；通过神经网络基于锚图像的图像嵌入对从锚图像提取的图像特征进行分类；以及确定与所分类的图像特征关联的图像标签位置；提取与所确定的图像标签位置关联的特征；使用神经网络对与所确定的图像标签位置关联的特征进行分类；确定与所确定的图像标签位置所关联的特征关联的局部图像分类损失；基于与锚图像、正图像和负图像中的每一个关联的图像嵌入来计算三元组损失，以确定图像特征的分类加权；以及使用加权损失和将局部图像分类损失和三元组损失组合；使用所训练的神经网络对不具有任何关联的标记特征的测试数据图像的图像特征进行分类。