[发明专利]一种数字档案自动分类方法

说明书

本发明公开一种数字档案自动分类方法，具体包括以下步骤：S1：确定现有的数字档案的各级分类并标记对应的编码，建立各级分类之间的双向映射关系；S2：获取每个现有数字档案的内容纲要、分类、编码，从而建立数字档案样本库；S3：根据S2中建立的数字档案样本库进行数字档案分类BERT模型训练；S4:使用S3中训练完成的数字档案分类BERT模型进行数字档案的自动分类。通过对现有数字档案进行分类和编码并利用BERT模型预训练，从而完成对待分类的数字档案的自动分类，提高了数字档案分类效率。

技术领域

本发明涉及数字分类技术领域，特别涉及一种数字档案自动分类方法。

背景技术

随着信息技术的快速发展，档案载体从纸张档案到数字档案转变，使得数字档案的数量成指数级增长，数字化档案管理系统不断涌现。近年来，人工智能技术的不断成熟也使得数字档案管理系统更加智能、高效。

其中，数字档案的分类是数字档案管理的核心，合适、准确地分类对数字档案的检索、借阅、分析起着举足轻重的作用。BERT(Bidirectional Encoder Representationsfrom Transformers)是近年来在神经语言程序学NLP(Neuro-Linguistic Programming)领域的最优模型，其在句子分类、实体提取、问答等应用中表现优异。

然而当前数字档案的分类大多依靠档案管理人员手动进行分类，对数字档案自动分类研究较少，制约着档案数字化管理。一方面由于管理人员的知识局限容易造成分类偏差，以致分类后的档案类别标准不统一；另一方面，随着数字档案的快速增长，手动分类效率低。

发明内容

针对现有技术中数字档案分类效率较为低的问题，本发明提出一种数字档案自动分类方法，通过对现有数字档案进行分类和编码并利用BERT模型预训练，从而完成对待分类的数字档案的自动分类，提高了效率。

为了实现上述目的，本发明提供以下技术方案：

一种数字档案自动分类方法，具体包括以下步骤：

S1：确定现有的数字档案的各级分类并标记对应的编码，建立各级分类之间的双向映射关系；

S2：获取每个现有数字档案的内容纲要、分类、编码，从而建立数字档案样本库；

S3：根据S2中建立的数字档案样本库进行数字档案分类BERT模型训练；

S4:使用S3中训练完成的数字档案分类BERT模型进行数字档案的自动分类。

优选的,所述S1中，数字档案的分类从上级到下级依次包括一级分类、二级分类、三级分类，即二级分类为一级分类的下一级，三级分类为二级分类的下一级。

优选的,S2包括以下步骤：

S2-1：从已有档案中获取档案标题和描述字段，并将同一档案的标题与描述字段用“|”进行连接构建内容纲要；

S2-2：从已有档案中获取档案分类及对应的编码，再将内容纲要与档案分类编码以“*”进行连接，完成档案样本采集。

优选的,若档案长度超过最大限定长度L，则将该档案在L处分隔，分别形成该档案的第一描述和第二描述；按照S2-1中内容纲要的构建方法分别构建该档案的第一内容纲要和第二内容纲要；按照S2-2中档案样本的采集方法构建该档案的第一样本和第二样本。

优选的,还包括S2-3：

将采集的档案样本以三个文本文件进行存储且每个文件中样本不重复，三个文本文件分别表示训练样本、验证样本和测试样本，其中训练样本、验证样本和测试样本的比例为6:3:1，形成数字档案样本库。

优选的,所述S3中，数字档案分类BERT模型训练参数包括样本批量为36、迭代次数为5、学习率为0.015。