[发明专利]基于深度学习的文本实体匹配方法、系统、装置

说明书

本发明属于数据库检索领域，具体涉及一种基于深度学习的文本实体匹配方法、系统、装置，旨在解决现有文本实体匹配方法匹配准确率低的问题。本系统方法包括获取待匹配的第一、第二文本，并进行词嵌入得到第一、第二词向量序列；通过基于自注意力机制的双向门控循环单元得到第一、第二语义向量序列；通过基于互注意力机制的高速路神经网络和门控网络得到第一、第二词向量序列中每个词向量的总结表示，构建总结序列；基于全局注意力机制获取第一、第二词向量序列的总结向量表示；基于总结向量表示，通过高速路神经网络得到最终总结向量表示，并通过Softmax分类器得到文本的匹配结果。本发明提高了文本实体匹配的准确率。

技术领域

本发明属于数据库检索领域，具体涉及一种基于深度学习的文本实体匹配方法、系统、装置。

背景技术

实体匹配是数据管理中的一个长期难题。实体匹配即从同一数据源或者从不同数据源中找出所有代表同一实体的记录或者标识的过程，其目的是识别出数据集中描述同一真实世界实体的元组。传统地方法就是基于字符串匹配，即基于两个记录之间的字符串相似度来判断他们俩是否属于同一个实体。这种方法的缺点是需要两个单词写得完全一样，才能被当做两个记录共同的字符串。但是在实体匹配数据集中，有很多单词拼写都可能有问题，比如单词“microsoft”，在一个记录中写成了“microsof”，另一个记录中写成了“micro-soft”，都不能被匹配上，匹配准确率较低。随着技术的不断进步，出现了基于机器学习的匹配方式，例如Magellan：Toward Building Entity Matching ManagemengtSystems，主要通过先提取特征，根据判别器，判断两个记录是否匹配。相比于传统的匹配方法，准确度有了很大的提高，但是很大程度上依赖于人工给出的特征。后来深度学习的出现，使得自然语言处理领域有了长足的发展动力，深度学习可以自动地找出这个分类问题所需要的重要特征。但现有基于深度学习的方法只是利用了循环神经网络与注意力机制得到局部的语境信息，没有利用实体匹配任务所特有的多语境信息，所以应用到一些领域的时候，准确度还有很大的提升空间。因此，本发明提出了一种基于深度学习的文本实体匹配方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有文本实体匹配方法匹配准确率低的问题，本发明第一方面，提出了一种基于深度学习的文本实体匹配方法，该方法包括：

步骤S10，获取待实体匹配的第一文本、第二文本，并对所述第一文本、所述第二文本进行词嵌入生成第一词向量序列e^A、第二词向量序列e^B；

步骤S20，采用基于自注意力机制的双向门控循环单元Bi-GRU分别提取e^A、e^B中每个词向量的上下文语义向量，构建第一语义向量序列第二语义向量序列

步骤S30，将e^A作为输入序列，将e^B作为背景序列，将作为输入融合序列，将作为背景关联序列，通过基于互注意力机制的高速路神经网络得到融合序列，并根据该融合序列和e^A，通过门控网络得到e^A中每个词向量的总结表示，构建总结序列；

步骤S40，基于全局注意力机制获取所述总结序列中每个词向量的总结表示的权重，进行加权和得到e^A的总结向量表示S^A；

步骤S50，将e^B作为输入序列，将e^A作为背景序列，将作为输入融合序列，将作为背景关联序列，通过步骤S30、步骤S40的方法，得到e^B的总结向量表示S^B；

步骤S60，基于S^A、S^B，通过高速路神经网络得到最终总结向量表示，并根据该表示，通过Softmax分类器得到所述第一文本、所述第二文本的实体匹配结果。