[发明专利]一种标准用语库的建立方法、装置及设备

权利要求书

1.一种标准用语库的建立方法，其特征在于，所述建立方法包括：

获取预设业务场景的文本数据，并对所述文本数据进行预处理；

基于预设词库以及词频-逆文档频度技术生成所述文本数据中每个语句的特征矩阵；

基于Birch聚类分析法对所述特征矩阵进行聚类分析，得到一次分类结果；

计算所述一次分类结果中任意两个类别之间的杰卡德系数；

基于计算得到的所述杰卡德系数对所述一次分类结果进行二次分类，得到最终分类结果；

基于所述最终分类结果建立所述预设业务场景的标准用语库。

2.根据权利要求1所述的标准用语库的建立方法，其特征在于，所述获取预设业务场景的文本数据，并对所述文本数据进行预处理包括：

获取所述预设业务场景的所述文本数据；

删除所述文本数据中的无用数据，其中，所述无用数据包括空文本、错误文本、文本中的节点信息以及小于预设文本长度的文本数据；

对删除无用数据后的所述文本数据进行断句处理，得到预处理后的所述文本数据。

3.根据权利要求1所述的标准用语库的建立方法，其特征在于，所述基于预设词库以及词频-逆文档频度技术生成所述文本数据中每个语句的特征矩阵包括：

基于所述预设词库对预处理后的所述文本数据进行分词；

通过词频-逆文档频度技术对所述文本数据的每个分词进行重要性分析，并根据分析结果生成每个语句的特征矩阵。

4.根据权利要求1所述的标准用语库的建立方法，其特征在于，所述计算所述一次分类结果中任意两个类别之间的杰卡德系数包括：

基于词频-逆文档频度技术确定所述一次分类结果中的每一类别中的各个分词的重要性排序；

对任意两个类别中的目标关键词进行杰卡德系数的计算，其中，所述目标关键词为依据所述重要性排序确定出的分词。

5.根据权利要求1所述的标准用语库的建立方法，其特征在于，所述基于计算得到的所述杰卡德系数对所述一次分类结果进行二次分类，得到最终分类结果包括：

将计算得到的任意两个类别之间的杰卡德系数与预设阈值进行对比；

若所述杰卡德系数大于所述预设阈值，则将与所述杰卡德系数相对应的两个类别合并为一个类别，得到所述最终分类结果。

6.根据权利要求1所述的标准用语库的建立方法，其特征在于，所述基于所述最终分类结果建立所述预设业务场景的标准用语库包括：

提取所述最终分类结果中的每一类别中的预设数量的文本数据，得到目标文本数据；

将所述目标文本数据依据经验进行整理确认，形成标准用语；

将所述标准用语整合形成所述标准用语库。

7.根据权利要求1所述的标准用语库的建立方法，其特征在于，所述预设词库包括基于所述预设业务场景建立的专有词库以及基于无用高频词建立的停用词库。

8.一种标准用语库的建立装置，其特征在于，所述建立装置包括：

预处理单元，用于获取预设业务场景的文本数据，并对所述文本数据进行预处理；

矩阵生成单元，用于基于预设词库以及词频-逆文档频度技术生成所述文本数据中每个语句的特征矩阵；

聚类分析单元，用于基于Birch聚类分析法对所述特征矩阵进行聚类分析，得到一次分类结果；

系数计算单元，用于计算所述一次分类结果中任意两个类别之间的杰卡德系数；

二次分类单元，用于基于计算得到的所述杰卡德系数对所述一次分类结果进行二次分类，得到最终分类结果；

语库建立单元，用于基于所述最终分类结果建立所述预设业务场景的标准用语库。

9.一种标准用语库的建立设备，其特征在于，所述标准用语库的建立设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的标准用语库的建立方法。