[发明专利]一种基于短文本评论的知识库构建方法

说明书

技术领域

本发明属于自然语言处理领域，更为具体地讲，涉及一种面向短文本评论的相关知识库的构建方法。

背景技术

当前，在各种网络论坛，以及购物网站，点评网站充斥着大量的评论信息。这些评论包含着大量的口语以及语法错误。这些口语化和语法错误给文本分析带来了大量的困扰和错误。

对这些评论分析的处理方法无论是通过简单的统计分析后得出结果，或者是通过人工阅读的方法得出结论，都无法得到科学的结果。前者统计分析仅能得到仅仅是相关单词出现频率，这样单一的方式无法获得原评论的本意。后者将会耗费巨大的人力和物力，随着网络评论文本的增加这种方法可行性将会呈现指数下降。

本方法旨在利用知识库的方法补充在评论分析需要用到的世界知识，使短文本处理更加的科学合理高效。使分析者在遇到语法错误或者口语化的表达时能够摒弃相关错误，得到正确的评论者的本意。同时使短文本处理更加快速。

发明内容

本发明的最终目的是为短文本分析提供相关世界知识，克服现有的短文本分析的不足。实现短文本分析统计分析和语法规则的高度结合。通过构建相关评论的知识库，获得相关评论领域的相关特征词，特征词搭配，评价词及评分，程度副词及评分。

为了实现上述目的，本发明面对评论知识库构建，其方法构成主要由以下特征构成：

—爬虫模块。主要用于爬取相关的短文本评论数据。短文本评论数据主要由两部分构成，第一部分为评论的相关数据，第二部分为评论的相关特征词。

—数据预处理模块。主要用于构造短文本评论数据，以及分词字典。短文本评论数据处理主要包括分段模块，分为长句子模块，分为短句子模块，以及运用评论相关词构造分词字典模块。

—分词以及词性标注模块。主要用于下一步构造相关知识库提供词性标签序列。相应的标签序列使用中科院ICTCLAS的标注分词标注，来进行说明。

—评论相关特征词构造模块。用于构造特征词表。特征词主要由两部分构成第一部分由相关特征词构成比如具体的菜名（回锅肉），商品名（电脑桌）等等。第二部分是由评论涉及的方面构成，如环境，装修，售后等等以及上述词的近义词构成。

—搭配匹配模块。主要用于寻找相关特征词的搭配。主要是名词以及具有名词属性的词属性标签为“/n”或者“/vn”，对于特征词的搭配。如跟菜名的搭配可以是不错，不能是耐用。匹配主要包括特征名词与形容词，特征名词与动词，特征名词与状态词，特征名词与常用习语，特征名词与名词。在获得相应的匹配后存储进知识库中。

—评价词以及程度副词构建模块。主要用于寻找评价词，以及评价词的评分等级，程度副词的评分等级。完成后将评价词，评价词评分以及程度副词评分加入知识库中。

—知识库模块。主要用来存储相关特征词，相关特征词搭配，评价词，评价词评分，程度副词，程度副词评分。

本发明的发明目的是这样实现的：本发明通过调用以上各个模块获得了特定领域的相关特征名词，将其加入知识库中。同时获得相关特征名词的搭配同时将特征名词与搭配以成对出现的方式加入知识库中。在获得评价词以及其评分等级后将其加入知识库，在获得程度副词评分等级后将其加入知识库中。知识库最终由四个部分构成，相关特征词，特征词搭配，评价词及评分，程度副词及评分。

附图说明

图1是本发明基于短文本评论的知识库的构建方法的具体实施原理以及框图。

图2是本发明中图1所示6模块的具体构建以及实施图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于短文本评论的知识库的构建方法的具体实施原理以及框图。

在本实施例中，如图1所示，本发明基于短文本评论的知识库的构建方法包括爬取数据的爬虫模块1，数据预处理模块2，分词及词性标注模块3，基于词性标注和人工参与模块4，分类词典模块5，相关特征词模块6，特征词搭配模块7，评价词及评分模块8，程度副词及评分模块9，基于评论知识库存储模块10。