[发明专利]一种基于SVM和HMM的老挝语机构名称识别方法

说明书

本发明涉及一种基于SVM和HMM的老挝语机构名称识别方法，属于自然语言处理和机器学习技术领域。本发明首先将老挝机构名称分为机构名称前缀词和机构名称后缀词，并根据老挝语特点将机构名称前缀词提取构造成一个机构名称特征词典，使用SVM模型判断存在于特征词典中的词是否为老挝机构名称前缀词，以确定前界，再使用HMM模型来确定老挝机构名称后界，以识别一个完整的机构名称。本发明融合了基于规则与基于机器学习方法的点，无需庞大的知识库作支撑，取得了比使用传统机器学习方法更好的结果。

技术领域

本发明涉及一种基于SVM和HMM的老挝语机构名称识别方法，属于自然语言处理和机器学习技术领域。

背景技术

命名实体识别一直是自然语言处理领域的重要任务，在信息检索、机器翻译等技术中占有举足轻重的地位。机构名称由于具有结构复杂、长短不一、组成多样的特点，是命名实体七大类中最难识别的一类。目前的机构名称识别的方法主要是以下三种：基于规则和词典的方法、基于机器学习的方法。基于规则和词典的方法，需要依赖专家知识，需要大量标记内容，耗时耗力。单独的基于机器学习的方法虽然比较容易搭建，但是准确率不太高。

发明内容

本发明的目的是提供一种基于SVM和HMM的老挝语机构名称识别方法，根据老挝语机构名称识别研究的现状，本发明主要使用基于机器学习的方法并融合一些老挝语语言学的特征，再用基于规则方法加以辅助识别，结合了现有技术中两种算法的优点，有助于准确率的提升。

本发明采用的技术方案是：一种基于SVM和HMM的老挝语机构名称识别方法，具体步骤如下：

Step1、根据老挝语机构名称特征词在前的特点，将老挝语机构名称分为两类，单个词就是一个实体的称为简单机构名称，定义形式为S，多个词组成的一个实体名称称为复杂的机构名称，定义形式为S+P，其中S为特征词，也称前缀词，P为修饰词，也称后缀词；

Step1.1、根据形式定义，将老挝语机构名称命名实体语料库中所有特征词S提取为一个特征词典；

Step2、将当前词设置为第一个词；

Step3、从当前词开始向后扫描，判断当前词是否出现在Step1.1中的特征词典中，此时有两种情况：

第一种情况是当前词出现在Step1.1中的特征词典中：

当第一种情况时，说明当前词可能为老挝语机构名称前缀词，根据特征向量转换过程将当前词转换为特征向量，然后执行步骤4；

第二种情况是当前词没有出现在Step1.1中的特征词典中：

当第二种情况时，判断当前词是否为结尾，若是则结束，若否则当前词位置向后移一位，重复本步骤，继续向后扫描判断，直至结尾；

Step4、根据出现在Step1.1中的特征词典中的词的特征向量使用SVM模型对其进行判断，是否为老挝语机构名称前缀词，如果是，则继续下面步骤，如果不是，则将当前词位置后移一位并返回Step3；

Step5、将当前词设置为前缀词w_i后一个词w_i+1，使用融合了多个老挝语机构名构词特征的隐马尔科夫模型对当前词w_i+1进行判断，此时有两种情况：

第一种情况是当前词是老挝语机构名称后缀词：

当第一种情况时，说明当前词为老挝语机构名称后缀词，那么当前词位置后移一位，重复此步骤的判断；

第二种情况是当前词不是老挝语机构名称后缀词：