[发明专利]一种基于全文注意力机制的商品名称识别方法

权利要求书

1.一种基于全文注意力机制的商品名称识别方法，其特征在于，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别；

加入全文注意力机制的深度神经网络模型包括：输入层、编码层、全文注意力层、输出层、提取层；

第一层是输入层，用于将词语序列转换为词语的特征向量，所述词语的特征向量包括预训练词向量和词性特征向量，将词向量和词性特征向量拼接构成词语的特征向量，形成模型的输入；

具体为：首先利用预训练好的词向量，将全文分词后的结果映射为向量矩阵，并将额外的词性信息编码为one-hot特征，拼接在向量矩阵后，形成模型的输入；

第二层是编码层，针对文章中的每一个句子的特征向量，使用双向循环神经网络来进行编码，双向神经网络为两个独立的循环神经网络，首先使用前向LSTM网络让词语获得句子级别的上文信息，使用后向LSTM网络中让词语获得句子级别的下文信息，进一步获得词语的总向量；

第三层是全文注意力层，由于第二层已经对文中的每一个句子进行了建模，全文注意力层的任务是为每一个词语引入全文的信息，对于每一个词语、模型使用欧式距离相似度函数计算当前词语总向量和全文中每一个词语的特征向量的相似性，得到注意力权重，用注意力权重和对应的全文向量即词语的总向量相乘，得到当前词语的全局特征向量，进一步得到最终的词语输出向量；

第四层是输出层，所述输出层为一个标签联合预测的CRF层，考虑相邻标签之间的关系，加入标签转移得分，和全文注意力层输出的分数相结合，预测全局最优的标注序列；

最后一层是提取层，根据上一层输出的标注序列，提取出自定义商品名标注，并将其背后的文本拼接起来，从而识别、得到商品名。

2.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，输入层将词语序列转换成词语的特征向量，以传递给编码层处理，这一层的特征向量是由两种特征向量拼接而成，包括预训练词向量和词性特征向量；其中，预训练词向量的维度为N维，词性特征由NLTK给出，用随机初始化的方法将每种词性映射到指定维度的向量，最终，将词向量和词性特征向量拼接在一起，代表词语的特征向量。

3.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，编码层针对输入层的每一个句子特征向量，进行神经网络的前向传播，这一层使用两个独立的循环神经网络，首先使用前向LSTM学习词语的前向依赖关系，然后使用后向LSTM学习词语的后向依赖关系，最后将它们拼接成词语的总向量，此时词语的总向量就包含了句子内的上下文信息。

4.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，全文注意力层为编码层的每一个词语增加额外的全文特征；在这一层中，对于每一个词语，模型使用欧氏距离相似度函数计算当前词语向量和全文的每一个词语向量的相似性，得到注意力权重，用注意力权重和对应的全文向量相乘，得到当前词语的全局特征向量；最后，将全局特征向量拼接在原有的词语总向量之后，形成最终的词语输出向量。

5.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，输出层根据全文注意力层的输出词语向量，为词语预测对应的标签；这一层是一个标签联合预测的CRF层，借鉴条件随机场模型全局优化的思想，考虑相邻两个输出标签之间的关系，最后得到最优的标签序列。

6.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，在模型的训练过程中，使用dropout技术防止过拟合。

7.根据权利要求1所述的基于全文注意力机制的商品名称识别方法，其特征在于，在模型的训练过程中，使用Adam优化器以自适应地计算每个参数的学习率。