[发明专利]一种基于中文仿生文献摘要的句子分类方法及系统

权利要求书

1.一种基于中文仿生文献摘要的句子分类方法，其特征在于，包括以下步骤：

S1：对中文仿生科技文献摘要去噪处理后进行句子划分和分词处理，获取句子数据库和词语向量库；

S2：以多领域科技文献摘要的要素作为句子类别，采用标注句子类别的多领域科技文献摘要数据集训练Bert模型，得到初始Bert模型；

S3：提取句子数据库中部分句子进行人工标注句子类别，采用词频分析方法，在词语向量库中获取判断句子分类的关键词语；

S4：基于关键词语和句子类别，对句子数据库中未进行人工标注句子类别的句子分别采用词频分析方法和输入初始Bert模型中进行分类，获取第一分类结果集Dataset1和第二分类结果集Dataset2；

S5：将Dataset1和Dataset2中分类结果一致的句子存入分类数据库Dataset3；

S6：将当前迭代作为上次迭代，其中，每次迭代完成对Bert模型的一次训练，且词频分析方法采用较上次迭代更小的分词粒度；

S7：在Dataset1中剔除Dataset3中的句子，若Dataset1为上次迭代前的Bert模型获取，则采用较上次迭代更小的分词粒度的词频分析方法对Dataset1再次分类并更新，且采用上次迭代后的Bert模型对Dataset2再次分类并更新；反之，采用上次迭代后的Bert模型对Dataset1再次分类并更新，且采用较上次迭代更小的分词粒度的词频分析方法对Dataset2再次分类并更新；

S8：转至S6，直至Bert模型达到最好训练效果时停止句子分类，Dataset3作为最终的分类结果。

2.根据权利要求1所述的句子分类方法，其特征在于，在S8后还包括S9，S9为：使用可解释性工具Captum对训练完成的Bert模型进行解释性分析，使用Captum Insights对分析结果进行可视化，高亮出每个句子中判别句子分类的关键信息。

3.根据权利要求1所述的句子分类方法，其特征在于，S1具体包括以下步骤：

S1.1：从PDF和caj格式的仿生科技文献中提取摘要数据；

S1.2：对摘要数据中不清晰的数据或含有的水印采用图像处理方法进行去雾去噪，并对摘要数据中的噪声信息采用正则表达式过滤；

S1.3：利用分段换行符从去噪后的摘要数据中取出各段落，存入段落数据库中；

S1.4：采用正则表达式，对各段落以句子为单位进行拆分创建句子数据库；

S1.5：使用JIEBA分词工具将句子数据库中的句子转换为分词后对应的分词向量；分词粒度包括：句子级别、短语级别、单词级别和字符级别；其中，各个分词向量构建为词语向量库。

4.根据权利要求1至3任一所述的句子分类方法，其特征在于，所述词频分析方法为：

对句子数据库中的部分句子进行人工标注句子类别，采用词频分析方法在词语向量库中筛选出各句子类别下句子中出现频率为前十的词语作为判断句子分类的关键词语，用以表征句子类别；

对句子数据库中未进行人工标注句子类别的每一个句子进行词频统计，利用句子中出现频率最高的词语与判断句子分类的关键词语进行对比判断句子的类型，获取仿生领域文献摘要中句子的分类。

5.根据权利要求1所述的句子分类方法，其特征在于，所述仿生科技文献摘要的要素类别包括：研究背景、研究意义、研究过程、研究内容和实验结果。

6.根据权利要求3所述的句子分类方法，其特征在于，S1.5之后还包括：

采用停用词的集合包，对词语向量库中的各词语与停用词比对，在词语向量库中剔除与停用词一致的词语。