[发明专利]用于基于眼底图像的疾病演进的图像生成方法及其相关产品

说明书

本发明提供一种用于基于眼底图像的疾病演进的图像生成方法及其相关产品。该图像生成方法包括基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像。利用本发明的图像生成方案，可以向医护人员或患者提供直观的疾病演进预测，由此方便医护人员或患者及早做出人为干预。

技术领域

本发明总体上涉及图像处理领域。更具体地，本发明涉及用于基于眼底图像的疾病演进的图像生成方法、设备、计算机程序产品和计算机可读存储介质。

背景技术

在人工智能领域，除了利用诊断模型来根据医学图像和相关信息给出诊断预测，利用可视化的方案对疾病进行监控和预防也十分必要。例如，在眼底图像中，豹纹的演变对近视的预防具有很强的警示作用。再如，视网膜的很多疾病与年龄相关，从而年龄维度的可视化演进将帮助患者及时建立健康的生活习惯并减低患病风险。为此，如何基于患者当前的状况给出其疾病演化的可视化呈现和预测，从而引起患者的重视并达到持续监测和疾病预防的目的是当前需要解决的一项技术问题。

发明内容

鉴于上文背景部分所描述的技术问题，本发明提出了一种全新的关于疾病演进的可视化方案。具体地，对任意具有全局图像风格特征的眼底疾病，计算出其所嵌入空间的方向向量。此后，对于给定任一真实的眼底图像，计算出其广义嵌入向量并且与前述方向向量执行向量操作。最后，将向量操作后得到的结果向量输入至图像生成模型，从而生成展示疾病演进过程的图像。由此，可以实现对疾病演进的可视化显示并从而起到警示医护人员和患者的作用。鉴于此，本发明在下面的多个方面和实施例中提供解决方案。

在第一方面中，本发明提供了一种用于基于眼底图像的疾病演进的图像生成方法，包括：基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像。

在一个实施例中，基于样本数据确定从第一类别疾病到第二类别疾病的方向向量包括确定从所述第一类别疾病到第二类别疾病的单位方向向量；以及根据所述单位方向向量和预设演进强度来确定所述方向向量。

在一个实施例中，确定从所述第一类别疾病到第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。

在一个实施例中，获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。

在一个实施例中，获取目标眼底图像的广义嵌入向量包括利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。

在一个实施例中，所述图像生成模型具有多级的网络结构，所述方法包括使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像演进的图像。

在一个实施例中，还包括：将所述方向向量划分成预定的多个段；计算与每段的方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的多个图像。

在一个实施例中，该图像生成方法还包括利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。