[发明专利]一种面向机械化工领域的中文实体识别方法和系统

说明书

一种面向机械化工领域的中文实体识别方法，包括：采取短文本预处理来提取有效内容；采用经过词典优化的中文分词器进行中文分词和词性标注；利用词频与类优先级函数所构成的权重函数用作权重计算同时基于规则式优化加权提取短文本目标关键词；搜索目标关键词上下文基于构建的有向概率状态转化图来进行关键词的上下文扩展从而获得目标实体。本发明还包括实施一种面向机械化工领域的中文实体识别方法的系统，包括依次连接的短文本预处理模块、中文分词和词性标注模块、权重计算和规则式优化加权模块、关键词搜索和扩展模块。本发明实现了高准确率的中文实体识别。

技术领域

本发明涉及中文命名实体识别NER(Name Entity Recoginiton)，尤其涉及机械化工领域的中文短文本的高准确率产品实体抽取方法和系统。利用中文文本分词工具对短文本进行分词，然后利用关键词提取方法提取合适实体，同时基于有向概率状态转化图进行实体扩展获取最终实体。

背景技术

随着计算机的普及以及各种电子文本的广泛引用，大量的信息给人们的信息获取与处理带来了严峻的挑战，人们迫切需要一些自动化工具帮助进行大量信息数据处理，信息抽取、信息检查、机器翻译等技术应运而生，而其中最基础和重要的问题就是命名实体识别，命名实体识别的质量会直接影响到后续的一系列数据操作。

[1]从命名实体识别的发展过程来说基于规则的方法领域性较强，缺乏鲁棒性和和可移植性；而统计的方法虽然有一定的客观性，但人类的语言使用不是单纯的随机过程，严重的数据稀疏和系统处理能力的限制使得统计模型适用范围有限。统计模型和规则知识结合使用将具有较好的可训练性和可适应性，而且保持性能所花费的代价相对要低的多，这也是NER未来的发展趋势，见张晓艳，王挺，陈火旺所著“命名实体识别研究[J]”一文，计算机科学，2005(04)：44-48。

近年来中文文本的NER技术越来越成熟，并且有大量的中文分词工具已经成熟，例如python中的SnowNLP，Thulac，HanLP，LTP，CoreNLP等开源技术都能够对中文文本进行一定的处理，但大多数中文分词器对某一特定领域的命名实体识别效率都不够高，如面向机械化工领域只能达到50％左右的识别准确率。

发明内容

本发明要克服现有技术的上述缺点，提供一种面向机械化工领域的中文实体识别方法和系统，实现了高准确率的产品实体识别。

本发明的一种面向机械化工领域的中文实体识别方法，包含以下步骤：

(1)采取短文本预处理来提取有效内容；

(2)采用经过词典优化的中文分词器进行中文分词和词性标注筛选出名词；

(3)利用词频与类优先级函数所构成的权重函数用作权重计算同时基于规则式优化加权提取短文本最高权重关键词；

(4)搜索权重最高关键词的上下文同时基于构建的有向概率状态转化图来进行关键词的上下文扩展从而形成目标实体；整体流程图如附图1。

进一步地，步骤(1)所述的短文本预处理具体包括：

(1-1)文本正则。机械化工类短文本中可能包含大量杂乱脏数据，脏数据主要包括了一些不规则文本或非中文数据，它们会极大影响对数据的正常操作，为了处理脏数据，文本正则是常用且有效的手法，尤其针对中文短文本，文本正则主要包括了纯中文的提取并且无视短文本所有括号中的内容，其中括号内容基本上为特殊注释，在本方法中对实体识别无明显作用故舍去。