[发明专利]基于共现词的检索方法、装置、设备及可读存储介质

说明书

本发明公开一种基于共现词的检索方法、装置、设备及可读存储介质，所述方法包括：爬取多个文本语料，并对各所述文本语料进行分词处理，生成多个分词；根据各所述分词确定多个常用词，基于预设算法计算与各所述常用词对应的共现词，并将各所述常用词及对应共现词建立常用词组，形成词典存储；当接收到检索词时，将所述检索词和所述词典中的各所述常用词组对比，确定目标常用词组，并以所述目标常用词组进行检索。本方案基于人工智能确定与各常用词具有相似性的相似词，在搜索时以和检索词对应的目标常用词组中的常用词和共现词进行扩展检索，使得检索所匹配的结果更为广泛，且更容易覆盖用户的搜索意图；提高了搜索效率以及准确性。

技术领域

本发明主要涉及人工智能技术领域，具体地说，涉及一种基于共现词的检索方法、装置、设备及可读存储介质。

背景技术

随着网络技术的发展，大众通过网络进行搜索的场景越来越多，且在搜索过程中需要用到关键词提取技术以进行文本匹配。目前市面上的搜索工具通常依赖用户输入的内容，对文本的关键词进行完全匹配检索，或者进行模糊匹配检索；其中模糊匹配检索只是放宽了关键词的位置要求，检索的结果依赖于用户输入内容的准确性，用户通常都需要搜索多次，才能得到自己想要的结果，搜索效率低。

发明内容

本发明的主要目的是提供一种基于共现词的检索方法、装置、设备及可读存储介质，旨在解决现有技术中搜索时仅依赖于输入内容进行匹配检索，在输入内容不准确时，容易导致检索结果不准确，且对搜索内容的调整，使得搜索效率低的问题。

为实现上述目的，本发明提供一种基于共现词的检索方法，所述基于共现词的检索方法包括以下步骤：

爬取多个文本语料，并对各所述文本语料进行分词处理，生成多个分词；

根据各所述分词确定多个常用词，基于预设算法计算与各所述常用词对应的共现词，并将各所述常用词及对应共现词建立常用词组，形成词典存储；

当接收到检索词时，将所述检索词和所述词典中的各所述常用词组对比，确定目标常用词组，并以所述目标常用词组进行检索。

优选地，所述基于预设算法计算与各所述常用词对应的共现词的步骤包括：

基于预设算法计算各所述常用词的词向量，并逐个读取所述常用词，将当前读取的所述常用词作为目标常用词；

针对每个所述目标常用词执行以下步骤：

将所述目标常用词的词向量与各所述常用词中除所述目标常用词之外的其他常用词的词向量进行余弦计算，生成所述目标常用词与各所述其他常用词之间的余弦值；

对各所述余弦值进行排序，确定排列在前预设位的目标余弦值，并将生成各所述目标余弦值的其他常用词确定为与所述目标常用词对应的共现词。

优选地，所述生成所述目标常用词与各所述其他常用词之间的余弦值的步骤包括：

将所述目标常用词的词向量和各所述其他常用词的词向量分别传输到预设公式中，并根据所述预设公式，生成所述目标常用词与各所述其他常用词之间的余弦值；

其中，所述预设公式为：Yi表示各所述余弦值，A表示所述目标常用词的词向量，xi表示各所述其他常用词的词向量，cos表示余弦函数。

优选地，所述将所述检索词和所述词典中的各所述常用词组对比，确定目标常用词组的步骤包括：

将所述检索词和所述词典中的各所述常用词组对比，判断各所述常用词组中是否存在任意所述常用词组中具有所述检索词；

若存在任意所述常用词组中具有所述检索词，则将具有所述检索词的常用词组确定为目标常用词组。

优选地，所述判断各所述常用词组中是否存在任意所述常用词组中具有所述检索词的步骤之后包括：