[发明专利]基于海量问题的知识库构建方法、电子装置及存储介质

说明书

技术领域

本发明涉及知识库构建领域，涉及一种基于海量问题的知识库构建方法、电子装置及存储介质。

背景技术

随着互联网的飞速发展，人们服务意识的提高，网络客服已经普及到各行各业，深入到日常商业服务的各个环节。

目前，常见的网络客户有智能客服机器人、留言平台等，相较于传统的客服方式，这些客服可以全天候服务，分流人工客服负担，从而有效降低企业客服领域的运营成本。

但是随之而来也产生了很多无法解答的新问题，这些问题杂乱无章，数量可达几千上万条，如果要对这些问题一一作答，只能通过人工一条条查看并解答，耗时巨大，效率也不高。而且其中很多问题的意思都是相似的，而答案也都是一样，但是由于没有很好的归类，无法进行集中统一解答。

因此，现在急需对这些杂乱无章的问题进行快速分类，以减少人工解答问题的工作量。

发明内容

本发明要解决的技术问题是为了克服现有技术中无法很好地对杂乱无章的海量问题进行集中处理的问题，提出了一种基于海量问题的知识库构建方法、电子装置及存储介质，通过将杂乱无章的海量问题进行归类，方便问题和相应答案的关联整理后维护进知识库，以实现使用智能客服机器人代替人工客服对这些问题进行解答。

本发明是通过下述技术方案来解决上述技术问题：

一种基于海量问题的知识库构建方法，包括如下步骤：

S1、问题预处理：将原始问题拆分为若干关键词组成的词序列；

S2、文本降维：将每个预处理后的问题作为一个文本，利用主题模型算法进行文本降维，用多个主题分布来表示每个文本；

S3、聚类实现：采用K-means聚类算法对降维后的文本进行分类，对应不同的类别将文本保存到不同的簇并输出；

S4、知识库构建：将所有文本还原为原始问题，并将属于同一簇中的原始问题关联同一个标准问题-答案对后保存到知识库中。

优选地，步骤S1之前还包括：S0、问题的搜集：将各种平台上历史记录中未回答的问题按统一格式保存到一个文件中。

优选地，步骤S1具体包括以下分步骤：

S11、将问题拆分成由若干个词组成的词序列；

S12、将词序列中的停用词去掉；

S13、保存仅包含有关键词的关键词序列。

优选地，步骤3具体包括以下分步骤：

S30、预设循环次数的上限和与所述循环次数相对应的若干呈递进关系的判断阈值，所述循环次数初始值为1；

S31、将所有文本预设为一个当前簇；

S32、随机获取当前簇中的多个文本中的一个文本作为质心文本，并将该质心文本从前簇中删除；

S33、计算当前簇中其余文本与该质心文本之间的匹配值，取出所有匹配值大于当前循环次数对应的判断阈值的文本和质心文本保存到一个新簇中；

S34、判断当前簇中是否还有剩余文本未保存到新簇中，若是则执行步骤S32，若否则执行步骤S35；

S35、判断是否还有与当前簇属于同一循环的簇中还有文本，若是则执行步骤S36，若否则执行步骤S37；

S36、将当前簇重置为该还有文本的簇后执行步骤S32；

S37、判断循环次数是否达到上限，若是则执行步骤S39，若否则执行步骤S38；

S38、循环次数加1，将当前簇重置为若干新簇中的一个新簇，执行步骤S32；

S39、输出所有新簇。

优选地，分步骤S33具体包括以下子步骤：

S331、获取当前簇中其余文本中的首个文本作为当前比对文本；

S332、将当前比对文本中的关键词与所述质心文本中的关键词进行匹配，并根据匹配规则计算出匹配值；

S333、判断匹配值是否大于当前循环次数对应的判断阈值，若是则执行步骤S334，若否则执行步骤S331；

S334、将该当前比对文本取出暂存，并将该当前比对文本从当前簇中删除；

S335、判断当前比对文本是否为当前簇中其余文本中的最后一个文本，若是则执行步骤S337，若否则执行步骤S336；

S336、将当前比对文本之后的文本重置为新的当前比对文本，执行步骤S332；

S337、将暂存的文本与质心文本保存到一个新簇中。

优选地，步骤S4之前还包括：S4’、参数调整，具体包括以下分步骤：

S41’、检查输出的新簇是否符合归类标准，若不符合则执行步骤S42’，若符合则结束。