[发明专利]一种视觉问答方法、系统及服务器

权利要求书

1.一种视觉问答方法，其特征在于，包括：

获取输电设备的图像数据，所述图像数据包括视频数据和图片数据；

预处理所述图像数据，得到原始数据集；

对所述原始数据集依次进行视觉问答标注和语义分割标注，得到视觉问答数据集；

对所述视觉问答数据集进行训练，得到视觉问答模型；

输入问题文本和图片到所述视觉问答模型，得到视觉问答结果；

其中，对所述原始数据集进行视觉问答标注和语义分割标注的步骤包括：

对所述原始数据集的每一张图片提出多个问题并标注正确答案；其中，各所述问题分别与各图片的局部或整体相关联；

在各图片上选出与各正确答案相对应的区域，并在区域边沿绘制边界框，建立各图片的文本问答与语义分割之间的图文链接；其中，所述区域根据所述图片数据的对象分为多类，每个类别用不同颜色和索引值表示；

预处理所述图像数据，得到原始数据集的步骤包括：

提取所述视频数据的视频关键帧，将所述视频关键帧和所述图片数据合并，得到原始数据集；

提取所述视频数据的视频关键帧的步骤包括：

遍历所述视频数据的每一镜头，以及每一镜头的每一帧，得到每一帧的RGB平均值，并保存在一个向量中；

统计所述向量的最大值、最小值和均值，将与所述均值最接近的RGB平均值所对应的帧选为关键帧；

将所述视觉问答数据集输入视觉问答模型进行训练，得到训练后的视觉问答模型的步骤包括：

步骤一、给定所述视觉问答数据集中的一个问答对，获得问题嵌入向量和答案嵌入向量，将两者拼接成为文本特征向量；

步骤二、在所述视觉问答数据集中，提取与所述问答对相对应的一张图片，提取该图片每个区域的视觉语义，其中，为区域特征，z为区域位置；将区域特征和区域位置z拼接成位置敏感区域特征向量，通过线性投影将其转化为视觉特征向量；其中，所述视觉特征向量与所述文本特征向量的维数相同；

步骤三、在所述视觉问答数据集中，提取上述图片对应的图文链接，重复步骤二，提取图文链接特征，得到图文链接向量；

步骤四、将所述文本特征向量，所述图文链接向量，所述视觉特征向量组成三元组作为整体输入到多层感知器模型中，完成一张图片的训练；

步骤五、重复步骤一到步骤四，直至完成所述视觉问答数据集中所有图片的训练。

2.根据权利要求1所述的视觉问答方法，其特征在于，还包括，在视觉问答标注前对所述原始数据集进行数据清洗，所述数据清洗的步骤包括：

判断所述原始数据集中的图片是否因雾气导致模糊，若是，对其进行暗通道去雾并提高图片清晰度，得到处理后的图片；

对所述处理后的图片进行人工检验，剔除不合格图片；其中，所述不合格图片包括模糊、重复度高、光照大或阴影大的图片。

3.根据权利要求2所述的视觉问答方法，其特征在于，还包括：得到视觉问答数据集后，对所述视觉问答数据集进行水平翻转和像素值加噪声两种方式的数据扩增。

4.根据权利要求3所述的视觉问答方法，其特征在于，还包括：对所述数据扩增后的视觉问答数据集进行再次数据清洗，所述再次数据清洗的步骤包括：

剔除数据扩增中产生的异常数据，并剔除标注错误或不准确的图片。

5.实施权利要求1所述的一种视觉问答方法的系统，其特征在于，包括：

数据获取模块，用于获取输电设备的图像数据，所述图像数据包括视频数据和图片数据；

数据处理模块，用于对所述原始数据集依次进行视觉问答标注和语义分割标注，得到视觉问答数据集；

数据训练模块，用于对所述视觉问答数据集进行训练，得到训练后的视觉问答模型。

6.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-4中任意一项所述的视觉问答方法。