[发明专利]一种基于全文注意力机制的商品名称识别方法

说明书

本发明公开了一种基于全文注意力机制的商品名称识别方法，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别。本发明方法能够有效的从不规则的文本中提取出商品名，并解决了同一种商品在上下文识别不一致的问题，提高了识别的准确率。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于全文注意力机制的商品名称识别方法。

背景技术

命名实体识别是信息抽取的一项子任务，旨在识别出文本中的专有名词，并对它们进行分类。传统的命名实体任务有：人名、地名、机构名等。这是自然语言处理领域中一个相当重要的基础任务，比如：搜索引擎、问答系统、推荐系统、翻译系统等。而近年来，随着电子商务的不断发展，针对电商领域的命名实体识别任务也开始为人们所关注，人们迫切需要从海量的、不规则的文本中提取出商品的名称，并将其用于智能客服、广告推荐等领域。

对于这个问题，经典的研究主要是基于归纳商品字典、完善正则表达式、界定规、构造隐马尔科夫模型、构造最大熵模型和构造条件随机场模型等方法，这些方法的缺点在于，它们无法对词语潜在的语义进行建模，只能通过增加外部特征来达到提升效果的目的。

而近几年来，随着深度学习的不断发展，很多学者开始利用深层神经网络来对文本建模，这些模型能够捕获到文本潜在的语义信息，大大减少了人工提取特征的工作量，具体到商品名称识别，目前较好的模型有BI-LSTM+CRF模型，CNN+CRF模型，这些模型基本上都是用了word-embedding技术，这能解决词典高维稀疏的问题，具有很强的泛化能力，使得我们不必统计完整的商品词典，同时，神经网络和CRF的结合，能够解决商品名识别标注矛盾的问题，提高识别准确率。然而，这些研究忽略了商品名识别不一致的问题，也就是说，同一个商品，在文本中的不同位置，被识别成了不同的类别。比如，“苹果”和“苹果手机”同时都在一篇文档中出现，但是如果应用上面所说的模型，有可能“苹果”被标注成水果，“苹果手机”则被标注成商品，出现这个问题的原因在于，模型并没有考虑到文档全文的信息，如果知道这篇文章是在讲手机相关的内容，那么“苹果”更大概率是一种商品。因此，提供一种基于全文注意力机制的商品名称识别方法，具有重要的现实意义。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于全文注意力机制的商品名称识别方法，基于深度学习技术，能够有效的从不规则的文本中提取出商品名，并解决了同一种商品在上下文识别不一致的问题，提高了识别的准确率。

本发明的目的通过以下的技术方案实现：一种基于全文注意力机制的商品名称识别方法，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别。

优选的，加入全文注意力机制的深度神经网络模型包括：输入层、编码层、全文注意力层、输出层、提取层；

第一层是输入层，首先利用预训练好的词向量，将全文分词后的结果映射为向量矩阵，并将额外的词性信息编码为one-hot特征，拼接在向量矩阵后，形成模型的输入；

第二层是编码层，针对文章中的每一个句子，使用双向循环神经网络来进行编码；

第三层是全文注意力层，由于第二层已经对文中的每一个句子进行了建模，全文注意力层的任务是为每一个词语引入全文的信息，得到蕴含更多信息的编码；