[发明专利]基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统

说明书

本发明公开了一种基于Bi‑LSTM算法的检测咨询语句重复性评价方法及系统，包括输入咨询语句；使用DM模型将所输入的咨询语句转化为对应的词向量表示，使用Embedding的方式将离散的词向量转化为连续的一维句向量；在编码层中将所生成的句向量输入到Bi‑LSTM模型的神经网络；使用互注意力机制将其模型输出结果生成对应互注意力表示；通过距离加权函数来测算出特征向量之间的相似程度；通过多层感知网络进行分类筛选，判断问题语句存在重复值或者不存在重复值。本发明使用对应语句的句向量而非词向量来进行语义相似度的检测，利用语句的语序信息增加检测的准确率；使用互注意力机制帮助模型从过去和未来来获取语句的语义信息。

技术领域

本发明涉及语义重复性评价领域，具体涉及到一种基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统。

背景技术

已有现有技术将注意力机制(Attention)引入双向长短时记忆网络(Bi-LSTM)，从而用于智能问答系统的研究，如图1所示，在此系统中，句向量层将所输入的语句通过CBOW模型生成相对应的句向量，然后将其输入双向长短时记忆网络中；紧接着，此记忆网络通过对于语句进行训练并结合模型前向和后向的结果进行输出；然后将模型Bi-LSTM模型的输出结果输入到融合了注意力模型Encoder-Decoder框架，从而得到语句相对应的回答。

也已有现有技术运用GloVe模型将咨询语句转化为词向量，并使用基于互注意力机制(Co-Attention)孪生长短期记忆模型(Siamese Bi-LSTM)将其进行语义重复性的检测，所设计系统的检测流程如图2所示，在此系统中，其通过GloVe模型将所输入的问句转化为对应的词向量，并对所得的词向量进行拼接、求均值等操作。然后将所获得的问句特征向量输入到孪生长短期记忆模型和互注意力模型中，从而得到对应语句的互注意力表示。最后将所得到的语句向量进行相似度的测算并通过分类网络来判断其是否存在重复值。

然而，目前的现有技术还存在着以下技术问题：

现阶段的深度学习模型在没有使用互注意力机制(Co-Attention)的情况下，无法有效地从语句的上下文两个时态方向去获取语义，从而容易造成语义识别的误差；

使用Word2Vec模型或者GloVe模型将语句转化为词向量表示时，模型无法利用语句的语序信息，也容易造成语义识别的误差。

发明内容

针对上述技术问题，本发明的目的在于提供一种基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统，本发明通过将智能学习平台上的咨询语句转化为句向量而非传统的词向量，并且将互注意力机制(Co-Attention)引入双向长短时记忆网络(Siamese Bi-LSTM)来检测对应句向量的语义重复程度，提升了对于语句信息的利用率，提高了对于语义重复性识别的准确度，从而减少了重复的咨询语句占用智能学习平台的后端储存空间。

为实现上述目的，本发明是根据以下技术方案实现的：

本发明提出一种一种基于Bi-LSTM算法的检测咨询语句重复性评价方法，其特征在于，包括如下步骤：

步骤S1：输入咨询语句；

步骤S2：使用DM模型将所输入的咨询语句转化为对应的词向量表示，使用Embedding的方式将离散的词向量转化为连续的一维句向量；

步骤S3：在编码层中将所生成的句向量输入到Bi-LSTM模型的神经网络中；

步骤S4：使用互注意力机制将Bi-LSTM模型的输出结果生成对应的互注意力表示；

步骤S5:通过距离加权函数来测算出特征向量之间的相似程度；

步骤S6:通过多层感知网络进行分类筛选，从而判断问题语句存在重复值或者不存在重复值。