[发明专利]一种面向电影评论的人名命名实体识别方法

权利要求书

1.一种面向电影评论的人名命名实体识别方法，其特征在于，包括以下内容：

1、定义电影评论中人名的命名实体类型：根据人名的命名实体类型的不同形成不同的标签；

2、构造数据集：利用网络爬虫，爬取大规模的未标注电影评论，构建未标注数据集；在未标注的电影中随机挑选若干电影，基于步骤1中的命名实体类型，用字符标签定义电影评论中的人名，构建训练数据集TrainSet；

3、字向量字典构建：对未标注数据集进行以字符为单位的切割，构造字符矩阵，构造字符矩阵作为输入数据，利用word2vec中的skip-gram模型，对字符矩阵进行无监督的字嵌入预训练，构建字符与字向量的映射字典；

4、构建命名特征字典：从网络中获取人名数据集，根据人名的命名特征定义字典类型，每种类型的字典对应一个命名特征，以产生各字符对应的命名特征字典；

5、特征组合和数值化：对字符的字向量和命名特征进行组合生成训练人名识别模型的特征向量矩阵；

其中，利用tensorflow中的双向长短期记忆网络(Bi-LSTM)和条件随机场模型(CRF)进行混合模型的构造，以此进行人名识别模型训练；

6、人名识别：通过训练的人名识别模型对特征向量矩阵进行字序列标注，抽取出标注为人名标签的连续字符串，根据标签类别重新组合为词级别的人名。

2.根据权利要求1所述的面向电影评论的人名命名实体识别方法，其特征在于，所述步骤2中构建训练数据集TrainSet的具体步骤如下：

(1)标记电影评论对应人名和人名类别：随机抽取包含人名的评论集合CS，对CS中的每一条评论CS_i，依照步骤1中的定义抽取CS_i中的人名，组成人名集合N_i，依照N_i生成对应的标签集T_i；对评论CS_i进行基于字符的切割，生成对应的字符序列C_i；将CS_i对应的C_i，N_i，T_i组合为三元组(C_i,N_i,T_i)；三元组集合结构如下：

(C_i,N_i,T_i)＝([c₁,c₂,...c_m],[n₁,n₂,...n_k],[tag₁,tag₂,...tag_k])

其中，m为评论CS_i的字符数；c_j表示C_i中的第j个字符；k为评论CS_i包含的人名数，n_j表示N_i中的第j个人名，tag_j表示n_j对应的人名类别；

将所有CS_i对应的三元组(C_i,N_i,T_i)组成三元组集TS，TS结构如下：

TS＝{(C₁,N₂,T₃),(C₁,N₂,T₃),...(C_n,N_n,T_n)}；

(2)遍历TS中所有三元组，对每一个三元组(C_i,N_i,T_i)进行以下操作：

基于C_i中字符数量j，初始化字符标签数组S_i＝[s₁,s2,...s_j]；初始值均为字符“u”，“u”表示非人名字符，基于三元组(C_i,N_i,T_i)的人名集N_i和标签集T_i，修改S_i中对应为人名字符的字符标签；

(3)产生训练数据集TrainSet中字符对应的标签：将TS中每一字符序列C_i与对应的S_i组合为二元组(C_i,S_i)。