[发明专利]办事指南自动提取并关联的方法及电子设备

说明书

本发明涉及一种办事指南自动提取并关联的方法、存储介质及电子设备，包括以下步骤：获取办事指南文本数据；根据文本特征集查找办事指南文本数据中的匹配特征；根据匹配特征的概率转移矩阵，获取当前匹配文本的状态概率；根据当前的状态概率，滤出处于匹配状态的匹配区间；在匹配区间中过滤掉无效文本后，输出事项信息的结构化文本数据；根据结构化文本数据，建立事项信息之间的关系。不依赖于大量标注的训练数据，满足不具备数据资源的企业快速低成本建立业务逻辑的需要，区分了通用的模型训练与具体数据的自动处理过程。

技术领域

本发明涉及文本数据提取领域，特别涉及一种办事指南自动提取并关联的方法、存储介质及电子设备。

背景技术

公共服务部门日益重视向人民群众提供广泛的公众办事服务，这些单位在建设在线办事服务系统时，需要将大量书面文档转换为严格的形式化程序逻辑。

目前政务信息化行业一般由需求分析人员向业务单位人员进行调研，人工归纳总结，设计开发人员根据设计文档人工建立数据字典，编写程序实现事务逻辑。软件学术与产业界也发展了若干自动化结构提取方法，常见的是开发人员观察数据结构，设计出提取规则，将规则编码为程序再处理文档数据。另一种则是采用自然语言处理与机器学习技术，训练分词、句法结构、命名实体识别与分类模型，试图识别文本结构信息。而面临大量自然语言文本数据，超出了人工归纳能力；自然语言文本形式丰富多变，需要大量规则(数量级与数据量同等)涵盖噪音数据才能得到较好效果，同样超出人工实现能力；机器学习方法较少依赖人工规则，但现存的通用自然语言处理方案没有利用显见的文本结构，分词、句法结构、命名实体识别、分类的阶段过多造成模型难以训练，在实际数据上表现不好，资源消耗也较大。为了自动提取办事服务逻辑，实现关键在于对自然语言描述文本进行命名实体识别，提取并分类其中出现的命名实体。其中命名实体识别(NER)是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，作为结构化信息提取的重要步骤。

发明内容

为此，需要提供一种办事指南自动提取并关联的方法、存储介质及电子设备，解决现有大量自然语言文本数据超出人工归纳的能力，且由于自然语言文本行驶丰富多变而超出人工实现能力，及现有的自然语言处理方案实际数据资源消耗较大的问题。

为实现上述目的，发明人提供了一种办事指南自动提取并关联的方法，包括以下步骤：

获取办事指南文本数据；

根据文本特征集查找办事指南文本数据中的匹配特征，所述文本特征集为建立隐马尔科夫模型的文本特征集，所述隐马尔科夫模型表示为每个文本特征的概率转移矩阵；

根据匹配特征的概率转移矩阵，获取当前匹配文本的状态概率；

根据当前的状态概率，滤出处于匹配状态的匹配区间，所述匹配区间为办事指南文本数据中的命名实体候选；

在匹配区间中过滤掉无效文本后，输出事项信息的结构化文本数据，所述无效文本为长度过短的匹配区间和仅包含特征的文本数据；

根据结构化文本数据，建立事项信息之间的关系。

进一步优化，所述“获取办事指南文本数据”之后还包括步骤：

根据训练数据、文本特征及正样本，计算训练数据中的正样本与非正样本中出现文本特征的次数；

根据正正样本与非正样本中出现文本特征的次数计算文本特征的转移概率；

对转移概率进行调整；

输出每个文本特征的概率转移矩阵形成隐马尔科夫模型。

进一步优化，所述“对转移概率进行调整”具体包括：