[发明专利]表单处理方法、装置、设备、介质和程序产品

说明书

本公开提供了一种表单处理方法，可以应用于计算机技术领域。该方法包括：获取表单图像中每个字符的边界框信息和字符内容，基于该边界框信息和该表单图像，提取该表单图像中每个该字符的图像特征，基于该边界框信息和该字符内容，提取该表单图像中每个该字符的位置特征，基于每个该字符的图像特征和位置特征，输出该表单图像中的文本信息。本公开还提供了一种表单处理装置、设备、存储介质和程序产品。

技术领域

本公开涉及计算机技术领域，更具体地涉及一种表单处理方法、装置、设备、介质和程序产品。

背景技术

当今社会，纸质文档仍然是承载信息的重要方式之一，表单作为一种特殊的内容类型，提供了一种高丰富度的信息数据展示，在文档中占据着重要作用，同时随着产业信息化的发展，各行各业都在加速信息化与数字化，将大量的数据进行结构化后以特定的形式存储到数据库中，在后续供相关人员进行分析和利用成为行业趋势。

目前在金融行业，已经依托人工智能的兴起与发展实现了对身份证等简单证件的字符识别技术，很大程度上节省了金融从业人员在寻找数据和处理数据上花的时间，提升了整体的工作效率，但是在对于表单文档这类复杂文档的识别上还不够准确。

发明内容

鉴于上述问题，本公开提供了一种的表单处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种表单处理方法，包括：

获取表单图像中每个字符的边界框信息和字符内容；

基于所述边界框信息和所述表单图像，提取所述表单图像中每个所述字符的图像特征；

基于所述边界框信息和所述字符内容，提取所述表单图像中每个所述字符的位置特征；

基于每个所述字符的图像特征和位置特征，输出所述表单图像中的文本信息。

在本公开一实施例中，所述基于所述边界框信息和所述表单图像，提取所述表单图像中每个所述字符的图像特征包括：

获取多组训练数据，每组所述训练数据中包括表单图像训练数据和所述表单图像训练数据中每个字符的边界框信息训练数据；

利用所述多组训练数据训练预先构建的Transformer模型，得到训练完成的Transformer模型，所述训练完成的Transformer模型包括训练完成的编码层；

将所述边界框信息和所述表单图像输入训练完成的Transformer模型，以利用所述训练完成的编码层提取所述表单图像中每个所述字符的图像特征。

在本公开一实施例中，所述基于所述边界框信息和所述字符内容，提取所述表单图像中每个所述字符的位置特征包括：

将所述边界框信息进行位置嵌入，得到位置嵌入结果；

将所述字符内容进行标记嵌入，得到标记嵌入结果；

将所述位置嵌入结果和所述标记嵌入结果输入训练完成的来自变换器的双向编码器表征量模型中，提取所述表单图像中每个所述字符的位置特征。

在本公开一实施例中，所述基于每个所述字符的图像特征和位置特征，输出所述表单图像中的文本信息包括：

将每个所述字符的图像特征和位置特征进行融合，得到每个所述字符的字符特征；

基于每个所述字符的字符特征，确定所述表单图像中所有所述字符所组成的字段；

基于所述字段所包括字符的字符特征，输出所述表单图像中的文本信息。

在本公开一实施例中，所述基于所述字段所包括字符的字符特征，输出所述表单图像中的文本信息包括：