[发明专利]一种图像处理方法、系统、设备及介质、程序产品

说明书

本申请提供了一种图像处理方法，应用于人工智能领域，包括：获取包括一个或多个文档目标的图像，然后从文档目标中的文本提取文档目标的语义特征，接着根据文档目标的视觉特征和语义特征，获得文档目标的分类结果。该方法通过在视觉特征基础上结合语义特征对文档目标进行分类，为分类器提供了较多的信息，提高了分类的准确度，避免了输入的类型不匹配导致下游的字符识别模型识别错误，满足了业务需求。而且，该方法支持自动地提取语义特征进行分类，由此实现端到端的分类，无需人为干预，提高了分类效率，降低了分类的成本。

技术领域

本申请涉及人工智能(artificial intelligence，AI)技术领域，尤其涉及一种图像处理方法、系统、设备以及计算机可读存储介质、计算机程序产品。

背景技术

随着光学字符识别(optical character recognition，OCR)技术的快速发展，利用OCR技术代替人力进行识别和处理图像中的文字信息的应用变得越来越广泛。为了实现批量化和自动化处理，可以先对输入的图像进行分类，例如分为卡证、票据等不同类型，然后采用与上述类型对应的专业OCR引擎如票据识别引擎进行文字识别。

人工对输入的图像进行分类需要花费大量的时间和精力，为此，业界提出了采用目标检测与分类技术，自动检测图像中的文档目标如卡证、票据、邮件截图，并对文档目标进行分割和分类。

目前，业界比较常用的目标检测与分类技术是基于掩膜的区域卷积神经网络(mask region-based convolutional neural network，mask R-CNN)。然而，mask-RCNN等技术对文档目标分类的准确度较低，难以满足业务需求。

发明内容

本申请提供了一种图像处理方法，还方法通过在视觉特征基础上结合语义特征对文档目标分类，一方面提高了分类的准确度，如此可以提高文档目标中文本的识别率，另一方面可以实现自动化分类，无需人为干预，提高了分类效率。本申请还提供了上述方法对应的系统、设备、计算机可读存储介质以及计算机程序产品。

第一方面，本申请提供了一种图像处理方法。该方法可以由图像处理系统执行。该图像处理系统可以部署在服务器，例如是云服务器或者物理服务器。其中，云服务器包括公有云中的服务器，或者是私有云、混合云中的服务器。

具体地，图像处理系统获取图像，该图像包括一个或多个文档目标，图像处理系统可以根据文档目标中的文本获取文档目标的语义特征，然后根据文档目标的视觉特征和语义特征，获得文档目标的分类结果。其中，分类结果包括文档目标的类别标签。

该方法通过在视觉特征基础上还结合语义特征对文档目标进行分类，为分类器提供了较多的信息，因而可以提高分类的准确度，避免了输入的类型不匹配导致下游的字符识别模型识别错误，满足了业务需求。

而且，该方法可以支持自动地提取语义特征进行分类，由此实现端到端的分类，无需人为干预，例如人为框选分类关键词，或者是人为分类，提高了分类效率，降低了分类的成本。

在一些可能的实现方式中，图像处理系统在基于视觉特征对文档目标分类时可以获得对应的置信度。其中，置信度是根据经验确定的、用于表征可信程度的概率值。类似地，图像处理系统在基于语义特征对文档目标分类时可以获得对应的置信度。为了提高分类准确度，图像处理系统可以根据由视觉特征确定的置信度以及由语义特征确定的置信度，获得文档目标的分类结果。

在一些可能的实现方式中，图像处理系统可以根据文档目标的视觉特征，如颜色特征、纹理特征、形状特征或空间关系特征中的任意一种或多种，对文档目标分类，获得文档目标的第一类别标签。当与第一类别标签对应的置信度小于预设阈值时，表明第一类别标签的可信程度不高，也即第一类别标签正确的概率不高，图像处理系统可以根据视觉特征和语义特征进行分类，获得最终的分类结果，由此实现利用语义特征校正分类结果，提高分类准确度。