[发明专利]基于深度学习的搜索语句挖掘方法及设备

说明书

本发明公开了一种基于深度学习的搜索语句挖掘方法、装置、计算机设备及存储介质，属于网络技术领域。本发明提供的技术方案，通过按照第二目标领域的一些领域条件，对属于第一目标领域的原始搜索语句进行筛选，并基于筛选结果进一步的过滤掉不关注的语句，再进一步采用扩充和再次筛选的方式来从另一个维度提高语句数量和质量，从而再确定需要进行人工提交答案的搜索语句，不仅大大降低了人工成本，而且还能够在扩充了搜索语句本身的同时，大大提高数据质量。

技术领域

本发明涉及网络技术领域，特别涉及一种基于深度学习的搜索语句挖掘方法、装置、计算机设备及存储介质。

背景技术

随着人工智能技术的发展，用户对人机对话服务的需求越来越高。在人机对话服务中，关键的一个环节在于问答对的数量和质量一直是我们关心的核心问题，该问答对也即是搜索语句和答案。

目前的搜索语句来源一般是海量抓取网络上的已有问答对，然后对其进行数据清洗，再进行搜索语句召回，再对召回的搜索语句进行人工审核，然而，通过这种方式不仅人工成本高昂，且得到的搜索语句包括了很多脏数据，质量很差。

发明内容

本发明实施例提供了一种基于深度学习的搜索语句挖掘方法、装置、计算机设备及存储介质，解决了现有挖掘的人工成本高以及语句质量差的问题。所述技术方案如下：

一方面，提供了一种基于深度学习的搜索语句挖掘方法，所述方法包括：

获取属于第一目标领域的多个原始搜索语句；

根据多个第二目标领域的实体词，从多个所述原始搜索语句中筛选出多个第一搜索语句，每个所述第一搜索语句至少对应于一个所述第二目标领域的实体词；

将所述多个第一搜索语句输入分类器，通过所述分类器，从所述多个第一搜索语句中筛选出多个第二搜索语句，每个所述第二搜索语句符合对应领域的领域条件且不属于所述第一目标领域；

对所述多个第二搜索语句进行扩充，得到多个第三搜索语句；

从所述多个第三搜索语句筛选出符合对应领域的领域条件的多个第四搜索语句；

基于所述多个第四搜索语句，确定目标搜索语句，所述目标搜索语句为需要提交询问答案的搜索语句。

一方面，提供了一种基于深度学习的搜索语句挖掘装置，所述装置包括：

获取模块，用于获取属于第一目标领域的多个原始搜索语句；

第一筛选模块，用于根据多个第二目标领域的实体词，从多个所述原始搜索语句中筛选出多个第一搜索语句，每个所述第一搜索语句至少对应于一个所述第二目标领域的实体词；

第二筛选模块，用于将所述多个第一搜索语句输入分类器，通过所述分类器，从所述多个第一搜索语句中筛选出多个第二搜索语句，每个所述第二搜索语句符合对应领域的领域条件且不属于所述第一目标领域；

语句扩充模块，用于对所述多个第二搜索语句进行扩充，得到多个第三搜索语句；

第三筛选模块，用于从所述多个第三搜索语句筛选出符合对应领域的领域条件的多个第四搜索语句；

确定模块，用于基于所述多个第四搜索语句，确定目标搜索语句，所述目标搜索语句为需要提交询问答案的搜索语句。

在一种可能实现方式中，所述第一筛选模块用于对于每个所述原始搜索语句，判断所述原始搜索语句中是否包括所述多个第二目标领域中任一第二目标领域的实体词，如果是，则将所述原始搜索语句确定为所述第一搜索语句，如果否，则将所述原始搜索语句丢弃。