[发明专利]非结构化文本的分类方法及计算机可读存储介质

说明书

本发明公开了一种非结构化文本的分类方法及计算机可读存储介质，方法包括：构建评审专业词汇库；对待分类的修改意见文本进行清洗，并根据清洗后的修改意见文本，切分得到单字的顺序数组；根据评审专业词汇库，构建顺序数组对应的前缀词典，并根据前缀词典，形成有向无环图；分别计算有向无环图中各路径的概率；判断最大概率值是否大于或等于预设的阈值；若是，则根据最大概率值对应的路径，得到最优分词结果；若否，则根据马尔科夫模型，对顺序数组进行中文分词，得到最优分词结果；将最优分词结果与预设的典型修改意见进行模糊匹配，并根据模糊匹配的结果对修改意见文本进行分类。本发明可实现修改意见的自动分类。

技术领域

本发明涉及文本分类技术领域，尤其涉及一种非结构化文本的分类方法及计算机可读存储介质。

背景技术

当前，面对国资委对国网公司经营绩效的更高要求和社会降低电价预期的双重压力，以及电量增速趋缓、电价空间收窄的新常态，电网精准投资已成为公司提质增效，降本节支，提升稳健经营水平的重要举措。项目可研评审是项目投资决策之前，论证把关项目建设必要性、可行性、经济性的重要工作，是投资决策的重要参考依据，是落实公司精准投资战略举措的重要抓手。

评审专家针对报审项目可行性研究报告提出的修改意见，是电网基建项目的重点关注内容，蕴含了丰富的信息。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。如何基于自然语言处理技术，将专家修改意见“标签化”以辅助项目质量提升是目前有待解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种非结构化文本的分类方法及计算机可读存储介质，可实现修改意见的自动分类，提高修改意见分类统计的自动化水平。

为了解决上述技术问题，本发明采用的技术方案为：一种非结构化文本的分类方法，其特征在于，包括：

构建评审专业词汇库，所述评审专业词汇库包括历史修改意见中的词语及其词频；

对待分类的修改意见文本进行清洗，并根据清洗后的修改意见文本，切分得到单字的顺序数组；

根据所述评审专业词汇库，构建所述顺序数组对应的前缀词典，并根据所述前缀词典，形成有向无环图；

分别计算所述有向无环图中各路径的概率；

判断最大概率值是否大于或等于预设的阈值；

若是，则根据最大概率值对应的路径，得到最优分词结果；

若否，则根据马尔科夫模型，对所述顺序数组进行中文分词，得到最优分词结果；

将所述最优分词结果与预设的典型修改意见进行模糊匹配，并根据模糊匹配的结果对所述修改意见文本进行分类，标记所述修改意见文本的类型。

本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。

本发明的有益效果在于：通过对修改意见文本进行清洗，避免特殊字符对分词结果的干扰；通过利用前缀词典或马尔科夫模型对清洗后的修改意见文本进行中文分词，可得到最优分词结果，后续根据最优分词结果进行匹配分类，提高修改意见文本的分类准确性。本发明可实现修改意见的自动分类，提高修改意见分类统计的自动化水平。

附图说明

图1为本发明的一种非结构化文本的分类方法的流程图；

图2为本发明实施例一的方法流程图；

图3为本发明实施例一的单字的顺序数组的示意图；

图4为本发明实施例一的有向无环图的示意图。

具体实施方式