[发明专利]表单处理方法、装置、设备、介质和程序产品

权利要求书

1.一种表单处理方法，包括：

获取表单图像中每个字符的边界框信息和字符内容；

基于所述边界框信息和所述表单图像，提取所述表单图像中每个所述字符的图像特征；

基于所述边界框信息和所述字符内容，提取所述表单图像中每个所述字符的位置特征；

基于每个所述字符的图像特征和位置特征，输出所述表单图像中的文本信息。

2.根据权利要求1所述的方法，所述基于所述边界框信息和所述表单图像，提取所述表单图像中每个所述字符的图像特征包括：

获取多组训练数据，每组所述训练数据中包括表单图像训练数据和所述表单图像训练数据中每个字符的边界框信息训练数据；

利用所述多组训练数据训练预先构建的Transformer模型，得到训练完成的Transfonner模型，所述训练完成的Transformer模型包括训练完成的编码层；

将所述边界框信息和所述表单图像输入训练完成的Transformer模型，以利用所述训练完成的编码层提取所述表单图像中每个所述字符的图像特征。

3.根据权利要求1所述的方法，所述基于所述边界框信息和所述字符内容，提取所述表单图像中每个所述字符的位置特征包括：

将所述边界框信息进行位置嵌入，得到位置嵌入结果；

将所述字符内容进行标记嵌入，得到标记嵌入结果；

将所述位置嵌入结果和所述标记嵌入结果输入训练完成的来自变换器的双向编码器表征量模型中，提取所述表单图像中每个所述字符的位置特征。

4.根据权利要求1所述的方法，所述基于每个所述字符的图像特征和位置特征，输出所述表单图像中的文本信息包括：

将每个所述字符的图像特征和位置特征进行融合，得到每个所述字符的字符特征；

基于每个所述字符的字符特征，确定所述表单图像中所有所述字符所组成的字段；

基于所述字段所包括字符的字符特征，输出所述表单图像中的文本信息。

5.根据权利要求4所述的方法，所述基于所述字段所包括字符的字符特征，输出所述表单图像中的文本信息包括：

基于所述字段所包括字符的字符特征，判断所述字段的属性，所述属性包括键属性和值属性；

根据所述字段的属性，按照预定格式输出所述表单图像中的文本信息。

6.根据权利要求4或5所述的方法，所述将每个所述字符的图像特征和位置特征进行融合，得到每个所述字符的字符特征包括：

采用对应向量相加的方式，将每个所述字符的图像特征和位置特征进行融合，得到每个所述字符的字符特征。

7.根据权利要求1所述的方法，所述获取表单图像中每个字符的边界框信息和字符内容包括：

对表单原图进行图像预处理，得到所述表单图像；

将所述表单图像进行字符检测，得到所述表单图像中每个字符的边界框信息；

将所述表单图像进行字符识别，得到所述表单图像中每个字符的和字符内容。

8.一种表单处理装置，包括：

获取模块，用于获取表单图像中每个字符的边界框信息和字符内容；

第一提取模块，用于基于所述边界框信息和所述表单图像，提取所述表单图像中每个所述字符的图像特征；

第二提取模块，用于基于所述边界框信息和所述字符内容，提取所述表单图像中每个所述字符的位置特征；

输出模块，用于基于每个所述字符的图像特征和位置特征，输出所述表单图像中的文本信息。

9.根据权利要求8所述的装置，所述第一提取模块包括：

获取子模块，用于获取多组训练数据，每组所述训练数据中包括表单图像训练数据和所述表单图像训练数据中每个字符的边界框信息训练数据；

第一输入子模块，用于将所述边界框信息和所述表单图像输入训练完成的Transformer模型，以利用所述训练完成的编码层提取所述表单图像中每个所述字符的图像特征。