[发明专利]一种基于深度强化学习的云边协同文档分类系统及方法

说明书

本发明公开了一种基于深度强化学习的云边协同文档分类系统及方法，方法包括：文档关键词分析模块、文档摘要分析模块根据所述待分类文档得到文档摘要、文档关键词；机器文档内容分类模块根据文档摘要、文档关键词和待分类文档得到第一分类标签；文档分类人员在人工分类模块上根据所述文档摘要、文档关键词和第一分类标签选择文档分类标签得到第二分类标签；文档分类效率评价模块根据统计的效率参数计算分类效率值，若分类效率值低于设定阈值则直接存储分类结果，否则将专家分类结果作为最终结果。本发明能够结合人工分类、专家分类来提高文本分类的准确率，降低专业性文档分类对分类人员的专业能力要求、提高分类人员的工作效率。

技术领域

本发明涉及文本分类领域，特别是涉及一种基于深度强化学习的云边协同文档分类系统及方法。

背景技术

随着互联网技术在新信息、新能源、新材料等领域的全面应用，相关企事业单位的专业型文档呈爆炸式增长。这类专业性文档作为生产运维数据，对总结生产经验、研究行业发展等具有重要意义。专业型文档分类是基于业务理解，对单位内部专业型文档数据进行有序组织和处理，解决文档无序繁杂问题，便于后期复盘、查询和管理。因此针对这类包含生产、运维重要信息的文档，进行切实有效的自动归档分类，对企事业单位实现完全的信息化管理具有重要意义。

由于文本所存在的专业性领域对于数据管理的严谨性和高标准，传统的电子文档归类是由人工完成需要对全部文档的分类。这对人员的业务理解度和分类能力要求很高，耗时耗力。这类专业人员常为在某专业深耕多年的领域专家，他们业务繁忙且人数紧缺。要求专家花费大量的时间解决单位内部专业型文档数据分类问题是不现实的，且投入成本极高。因此，采用计算机预处理，通过提供机器辅助归档技术，并有选择地引入人工判读的混合模式，在保证归档分类效率的基础上，最大程度降低人工干预，减少人工分类工作量，帮助企事业单位从业务层面实现高效且精准的专业型文档分类工作的较好方案。

中国专利公开号为CN 106096063 A的专利，该发明提供一种用于大数据的并行半定义分类方法与系统，通过机器学习的方式在一定程度上解决了对分类标签库中标签不存在的问题，但仍存在先验信息较少时准确度不足、无法提供分类结果评级的问题；中国专利公开号为CN 107329999 A的专利，该发明提供文档分类方法及装置，通过对样本文档的处理能够在一定程度上实现在无需建立数据模型的前提下对文档进行归类，但由于样本文档数量级限制，仍存在准确度不足的问题。

发明内容

本发明主要解决的技术问题是机器学习在训练文本数量较少时文本分类准确率不足。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度强化学习的云边协同文档分类系统，包括：机器文档关键词分析模块，机器文档摘要分析模块，机器文档内容分类模块，人工分类模块，文档分类效率评价模块，专家文档分类模块，结果存储模块和机器在线学习模块；

所述机器文档关键词分析模块，用于利用训练好的关键词提取模型得到待分类文档的文档关键词；

所述机器文档摘要分析模块，用于利用训练好的摘要生成模型得到待分类文档的文档摘要；

所述机器文档内容分类模块，用于利用所述文档关键词和所述文档摘要得到待分类文档的第一分类标签；

所述人工分类模块，用于提供所述待分类文档的文档摘要、文档关键词和第一分类标签来辅助文档分类人员进行文档分类得到第二分类标签；

所述文档分类效率评价模块，用于记录文档分类人员在所述人工分类模块进行文档分类时的效率参数，并计算分类效率值；分类效率值超过设定阈值时，将第二分类标签作为最终分类标签，与待分类文档及文档摘要、文档关键词一起发送到结果存储模块；将分类效率值小于设定阈值的待分类文档及文档摘要、文档关键词和第一分类标签发到专家文档分类模块；