[发明专利]数据表标准化方法、装置、设备及计算机存储介质

权利要求书

1.一种数据表标准化方法，其特征在于，所述方法包括：

基于待标准化的源数据表的原始表格信息，以及所述源数据表的数据元对标结果，确定所述源数据表中包含的业务时间字段；

基于所述原始表格信息进行表格信息识别，确定所述源数据表对应的表格类别；其中，所述表格类别包括主题域类别、业务类别以及分区方式类别；

基于所述表格类别，生成所述源数据表对应的标准化表的标准表名称；

基于所述数据元对标结果、所述原始表格信息以及业务时间字段，生成所述标准化表的各个标准数据项；

基于所述标准表名称与所述各个标准数据项，获得所述标准化表。

2.如权利要求1所述的方法，其特征在于，在基于待标准化的源数据表的原始表格信息，以及所述源数据表的数据元对标结果，确定所述源数据表中包含的业务时间字段之前，所述方法还包括：

针对所述源数据表进行信息提取，获得所述原始表格信息；其中，所述原始表格信息包括所述源数据表的表名称以及字段信息；

针对获得的各所述字段信息分别进行对标处理，确定各所述字段信息各自对应的数据元对标结果，所述数据元对标结果包括各所述字段信息对应的数据元以及限定词。

3.如权利要求2所述的方法，其特征在于，基于待标准化的源数据表的原始表格信息，以及所述源数据表的数据元对标结果，确定所述源数据表中包含的业务时间字段，包括：

基于所述原始表格信息中的中文字段信息以及所述数据元对标结果，确定所述源数据表包含的时间字段；

基于设定的非业务时间字段集合，将所述源数据表包含的时间字段中非业务时间字段筛除；

将筛除后剩余的时间字段确定为业务时间字段。

4.如权利要求3所述的方法，其特征在于，在基于待标准化的源数据表的原始表格信息，以及所述源数据表的数据元对标结果，确定所述源数据表中包含的业务时间字段之后，所述方法还包括：

针对确定的各个所述业务时间字段，若存在业务时间字段未对应有所有表示类型，则对缺失的表示类型进行补全处理；

针对各个所述非业务时间字段，若存在非业务时间字段包括除指定表示类型之外的其他表示类型，则将所述其他表示类型删除。

5.如权利要求2所述的方法，其特征在于，基于所述原始表格信息进行表格信息识别，确定所述源数据表对应的表格类别，包括：

基于所述表名称和所述字段信息进行主题域识别，确定所述源数据表所属的主题域类别；

基于所述表名称和所述字段信息进行分区方式识别，确定所述源数据表所属的分区方式类别；其中，所述分区方式类别包括增量分区类别和全量分区类别；

基于所述表名称，提取所述源数据表所属的业务类别。

6.如权利要求5所述的方法，其特征在于，基于所述表名称和所述字段信息进行主题域识别，确定所述源数据表所属的主题域类别，包括：

按照候选主题域集合中各个候选主题域的优先级从高到低的顺序，依次将所述表名称和所述字段信息与每个候选主题域关联的关键词进行匹配；

若所述表名称和所述字段信息与当前匹配的候选主题域之间的匹配度大于设定的匹配度阈值，且满足当前匹配的候选主题域的设定要求，则将当前匹配的候选主题域确定所述源数据表所属的主题域类别。

7.如权利要求5所述的方法，其特征在于，基于所述表名称和所述字段信息进行主题域识别，确定所述源数据表所属的主题域类别，包括：

对所述表名称和所述字段信息进行文本预处理，获得多个候选词；

对所述多个候选词分别进行词向量化，获得所述多个候选词各自对应的词向量；

基于所述多个候选词各自对应的词向量，从所述多个候选词中确定出至少一个关键词，并基于所述至少一个关键词确定所述源数据表的表向量；

基于所述源数据表的表向量与各个候选数据表各自对应的表向量之间的相似度，从所述各个候选数据表中，确定出至少一个候选数据表；

基于所述至少一个候选数据表各自对应的主题域类别，确定所述源数据表所属的主题域类别。