[发明专利]一种标准用语库的建立方法、装置及设备

说明书

本发明涉及数据处理技术领域，公开了一种标准用语库的建立方法、装置及设备，方法包括获取预设业务场景的文本数据，并对文本数据进行预处理；基于预设词库以及词频‑逆文档频度技术生成文本数据中每个语句的特征矩阵；基于Birch聚类分析法对特征矩阵进行聚类分析，得到一次分类结果；计算一次分类结果中任意两个类别之间的杰卡德系数；基于计算得到的杰卡德系数对一次分类结果进行二次分类，得到最终分类结果；基于最终分类结果建立预设业务场景的标准用语库。本申请解决了现有技术中对预设业务场景的建立用语库时存在的聚类速度慢、聚类结果不精确以及分词效果不佳的技术问题，实现了提高分词效果、提升聚类精确度以及聚类速度的技术效果。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种标准用语库的建立方法、装置及设备。

背景技术

审批人在撰写审批意见时，各有各的表述方式，当需要对关键的意见和信息进行统计时，由于表述方式较多而无法单纯采用简单的句子或词频进行统计。

为了解决上述问题，通常采用文本聚类的方式，通过计算句子的相似度，将表述相似的意见聚为一类。其中，最常用的聚类方法为k均值聚类算法(k-means clusteringalgorithm)。

但是这种聚类方法往往具有下述缺点：(1)分词不准确。常规的分词，是基于维基百科及常用语的语料库训练的模型，无法区分专业领域的专有名词。由于不同的业务场景下所惯用的名词不同，对于特定的领域，使用普通分词的效果不佳，从而影响聚类效果如“其他应收账款”会被切分为“其他/应收账款”，导致后续文本模型的偏差；(2)k-means需要预先确定聚类个数，即确定k值。从技术角度，虽然可以搜索和调优，找到最优k值，但从业务角度上来说，不同的业务场景下定义聚类数量的难易程度不同，并且最优的k值不一定得到的是最好的聚类结果；(3)k-means训练速度慢、内存占用大。对于百万级别、千百维度的数据，k-means训练有时需要几个小时的时间，且容易内存溢出。

发明内容

本发明实施例提供一种标准用语库的建立方法、装置及设备，解决了现有技术中对预设业务场景的建立用语库时存在的聚类速度慢、聚类结果不精确以及分词效果不佳的技术问题。

第一方面，本发明实施例提供了一种标准用语库的建立方法，所述建立方法包括：

获取预设业务场景的文本数据，并对所述文本数据进行预处理；

基于预设词库以及词频-逆文档频度技术生成所述文本数据中每个语句的特征矩阵；

基于Birch聚类分析法对所述特征矩阵进行聚类分析，得到一次分类结果；

计算所述一次分类结果中任意两个类别之间的杰卡德系数；

基于计算得到的所述杰卡德系数对所述一次分类结果进行二次分类，得到最终分类结果；

基于所述最终分类结果建立所述预设业务场景的标准用语库。

第二方面，本发明实施例还提供了一种标准用语库的建立装置，所述建立装置包括：

预处理单元，用于获取预设业务场景的文本数据，并对所述文本数据进行预处理；

矩阵生成单元，用于基于预设词库以及词频-逆文档频度技术生成所述文本数据中每个语句的特征矩阵；

聚类分析单元，用于基于Birch聚类分析法对所述特征矩阵进行聚类分析，得到一次分类结果；

系数计算单元，用于计算所述一次分类结果中任意两个类别之间的杰卡德系数；

二次分类单元，用于基于计算得到的所述杰卡德系数对所述一次分类结果进行二次分类，得到最终分类结果；

语库建立单元，用于基于所述最终分类结果建立所述预设业务场景的标准用语库。