[发明专利]一种基于深度学习的行业文本匹配模型方法及装置

说明书

本发明公开了一种基于深度学习的行业文本匹配模型方法及装置，其中，该方法包括：获取预设个数的跨行业数据作为训练集以得到待匹配语句；输入基于深度学习的行业文本匹配模型NERB，经过数据预处理后分别输入优化后的预训练模型NEZHA、RoBERTa和ERNIE‑Gram；经过化后的预训练模型匹配后输出三个文本匹配结果；综合判断，当存在任意两种文本匹配结果或三种文本匹配结果输出为相似时，行业文本匹配模型的输出结果判为相似，否则为不相似。本发明通过引入大规模跨行业数据作为训练集、集成应用多个具有中文特色的预训练模型优势，可以解决不同细分行业如制造业中的汽车生产线技术参考、医疗行业中的患者咨询、商业领域中的交易搜索等多种应用领域的语义匹配问题。

技术领域

本发明涉及语义匹配技术领域，特别涉及一种基于深度学习的行业文本匹配模型方法及装置。

背景技术

随着互联网技术的迅速发展以及智能交互应用的广泛使用，便捷、轻快、即时已成为当下互联网社会的主要特征。在当下快节奏的学习工作中，各种社交工具、问答系统成为了人们越来越依赖的“必需品”，而这些不断推陈出新的智能交互应用以及各种社交工具与人类之间都有着共同的沟通桥梁——文字、语音、影像等等，其中最稳定、最主流的还是文字交流，而且主要是短文本交流。如何快速、准确的把握不同人群的语言特点是目前各大智能交互应用非常关心的问题，即系统如何要快速、准确地理解不同人群的输入文本含义，在此基础上才能做出正确的反应。使用搜索引擎进行问题输入时，系统自动匹配出的相似问题会自动呈现在用户面前。

比如人们使用互联网进行信息搜索、交易购物等学习生活时，针对同一个系统认定的标准问题，不同用户对该问题会有不同的表述方式，而为了适应互联网生态中的快捷方便性，不少线上购物平台都推出了诸如智能客服一类的自动回复系统，通过让用户选择与自己所提问题相近的选项或者根据用户的输入进行相似匹配后进行回复，但这类系统存在着可回复范围有限、无法准确识别疑问句及反问句等明显的不足，对于用户输入的请求，系统按照识别的相近语句进行自动回复的内容有很多不是用户真正想要的，因为很多系统并不能从语义的角度去理解用户的问题，进而无法准确判断用户对该问答系统的需求，从而降低一部分用户的学习和工作效率，对社会的发展和人们的日常生活造成不必要的麻烦，所以进一步完善自动问答系统的语义匹配功能、提高语义匹配的准确率显得尤为重要。

此外，不仅针对新兴互联网产业，越来越多的传统行业，如医疗、电力、银行、交通等实体行业，都在致力于开发属于本行业的问答系统。根据社会调查，不同的人们在上述公共场所或平台中遇到的问题大多数是相似的，同时这些问题具有被询问重复率高、表述方式多样而答案一致的特点，如果采用传统的人工服务台，当遇到用户高峰期时便容易出现服务饱和以及无法满足客户需求的情况，所以面对当下数据爆炸式增长的场景以及客户对数据的实时性需求，以人工为主的传统客服团队迫切需要自动问答系统的支持。

未来，这些行业的智能问答系统将不仅活跃在线下人们的实际生活中，其核心的语义匹配技术也会在该行业的搜索系统、知识库查询系统、智能线上客服等多方面发挥自己的作用。

为了解决上述存在的问题、提高问答系统的语义匹配的准确率，从而使客户在巨大信息量中快速准确的搜索出需要的信息，基于短文本语义相似度匹配的智能自动问答系统迅速发展，该方法是实现智能问答系统的重要支柱。根据深度学习算法，能充分理解客户的语义信息，同时智能问答系统是提供人与机器之间以自然语言交流的方式，它可以在快速、准确地分析并理解客户需求的前提下，向客户提供正确的答案，尤其是对于重复率较高的常规短文本问题，具有高效率、方便快速的特点。

对于一个服务于千万级乃至亿级用户的系统在特别是随着深度学习的提出以及广泛应用，语言信息处理过程可以从传统的词语的向量空间转变到词语Embedding层向量空间，或者更加复杂的神经网络隐藏层空间中进行，这种方式很好地弥补了短文本在词向量空间中稀疏、噪音大等缺点，并且能够将无监督学习与监督学习过程无缝结合，为基于问答系统的自然语言处理开辟新的方向。