[发明专利]一种基于语义嵌入的词向量改进模型的建立方法

摘要

本发明公开了一种基于语义嵌入的词向量改进模型的建立方法，包含如下步骤：1)双向长短期记忆网络训练阶段；2)上下文向量计算阶段：将句子和目标单词t输入步骤1训练好的双向长短期记忆网络中，求得上下文向量；3)上下文向量语义聚类阶段：a使用余弦相似度计算当前的上下文向量和单词t每个语义簇中心相似度；b使用贝叶斯非参数统计模型计算当前上下文向量归属为的类簇的概率P；c最大化P值并求出该值对应的类簇；c对当前上下文向量归属的类簇中心进行偏移；4)语义向量计算阶段。本发明利用神经网络和贝叶斯非参数统计方法为解决了当前词向量模型无法解决单词存在的一词多义问题。

主权项

1.一种基于语义嵌入的词向量改进模型的建立方法，其特征在于，包括如下步骤：/n步骤1，双向长短期记忆网络训练阶段：获取维基百科数据集，抽取数据集中网页的文本内容作为训练使用的语料库；删除语料库中长度小于10个单词或者大于60个单词的语句；对抽取出来的语句统计各个单词，建立统计词表；使用自然语言处理包NLTK删除句子中停用词；根据统计词表删除出现较少的罕见词，将预处理好的句子和目标单词送入神经网络模型biLSTM中进行训练；/n步骤2，上下文向量计算阶段：对于单词w_t，抽取在语料库中所有含有w_t的句子C＝{c₁,c₂,…,c_N}；N表示在语料库中所有含有w_t的句子数，将所有含有w_t的句子送入训练好的神经网络模型biLSTM中计算上下文向量和全局词向量，上下文向量为{v_c(w_t,1),v_c(w_t,2),…,v_c(w_t,i),…,v_c(w_t,N)}，i＝1至N，全局词向量为v_g(w_t)；对于每个上下文向量v_c(w_t,i)先计算v_c(w_t,i)和每个已有类簇中心的余弦相似度；根据余弦相似度使用贝叶斯非参数模型PYP-CRP计算v_c(w_t,i)所属的类簇k；/n /n其中，s₁,s₂,...,s_i-1为已有的每个实例语义分配类别，计算方法是令t分别为当前的各个类簇t＝{1,2,…K}，为s_i和s_t的余弦相似度，为s_i属于s_t的概率，取其中能得到最大概率的k值表示所属类簇，s_i表示第i个上下文向量归属的类簇，d表示中国餐馆过程(Chinese Restaurant Process，CRP)中的参数，θ表示中国餐馆过程中的参数，G₀表示狄利克雷过程，K表示当前的类簇数目，n_t表示第t个类簇中已有的实例数目；/n步骤3，语义归纳阶段：对每个上下文向量v_c(w_t,i)，进行以下的计算：先计算v_c(w_t,i)和每个已有类簇中心的余弦相似度，之后使用贝叶斯非参数模型PYP-CRP计算v_c(w_t,i)归属于的每个类簇的概率{p(v_i,1),p(v_i,2),…,p(v_i,K)}以及v_c(w_t,i)对应于新的语义簇的概率p(v_i,K+1)，K表示当前已有类簇数量；取其中的最大值对应的类簇k作为v_c(w_t,i)归属的语义簇；如果k大于当前已有类簇数量K，需要增加类簇，并使用v_c(w_t,k)初始化该类簇中心，使用v_g(w_t)初始化该类簇对应语义向量v_s(w_t,i)；如果k小于K，则对第k个类簇中心进行偏移；/n步骤4，语义向量训练阶段：当前选择的类簇k对应的语义向量为v_s(w_t,i)，将v_s(w_t,i)和上下文单词{v_g(c₁),v_g(c₂),…,v_g(c_N)}输入单隐层神经网络，通过误差反向传播方法和负采样调节神经网络权重，完成模型的建立。/n