[发明专利]新词的发现方法和装置

权利要求书

1.一种新词的发现方法，其特征在于，包括：

从文本集合中获取待处理文本；

利用预设的词汇库，将所述待处理文本划分为多个基本单元；其中，每个所述基本单元均包括至少一个连续的汉字；

根据所述文本集合，计算所述待处理文本中每两个基本单元之间的关联程度指标；

生成所述待处理文本的每一个基本单元的特征向量；其中，任意一个所述基本单元的特征向量，根据所述基本单元与其他基本单元之间的关联程度指标生成；所述其他基本单元指代除所述基本单元以外的每一个基本单元；

针对所述待处理文本中的每两个相邻的基本单元，根据所述两个相邻的基本单元的特征向量，计算得到所述两个相邻的基本单元之间的相似度；

根据所述待处理文本中每两个相邻的基本单元之间的相似度，拆分所述待处理文本，得到多个子文本；其中，每一个所述子文本均包括至少两个连续的所述基本单元；

将所述多个子文本作为新词加入所述词汇库。

2.根据权利要求1所述的发现方法，其特征在于，所述根据所述文本集合，计算所述待处理文本中每两个基本单元之间的关联程度指标，包括：

统计所述文本集合中，携带有第一基本单元的文本的数量，携带有第二基本单元的数量，以及携带有第一基本单元和第二基本单元的文本的数量，得到统计结果；其中，所述第一基本单元和所述第二基本单元，指代所述待处理文本中的任意两个基本单元；

根据所述统计结果，以及所述文本集合包括的文本的数量，计算所述第一基本单元和第二基本单元的关联程度指标。

3.根据权利要求1所述的发现方法，其特征在于，所述根据预设的词汇库，将所述待处理文本划分为多个基本单元之前，还包括：

删除所述待处理文本中的符号，以及除汉字以外的其他文字，得到删除后的待处理文本；

所述根据预设的词汇库，将所述待处理文本划分为多个基本单元，包括：

根据预设的词汇库，将所述删除后的待处理文本划分为多个基本单元。

4.根据权利要求1所述的发现方法，其特征在于，所述根据预设的词汇库，将所述待处理文本划分为多个基本单元之前，还包括：

将所述待处理文本中的每一个繁体字，均转换为对应的简体字，得到转换后的待处理文本；

所述根据预设的词汇库，将所述待处理文本划分为多个基本单元，包括：

根据预设的词汇库，将所述转换后的待处理文本划分为多个基本单元。

5.根据权利要求1所述的发现方法，其特征在于，所述针对所述待处理文本中的每两个相邻的基本单元，根据所述两个相邻的基本单元的特征向量，计算得到所述两个相邻的基本单元之间的相似度之前，还包括：

对所述待处理文本的特征矩阵进行奇异值分解，得到所述待处理文本的特征矩阵的特征值；其中，所述待处理文本的特征矩阵由所述待处理文本的每一个基本单元的特征向量组成；

根据所述待处理文本的特征矩阵的特征值，以及所述待处理文本的文本长度，对所述待处理文本的每一个基本单元的特征向量进行降维处理，得到每一个基本单元的降维特征向量；

其中，所述针对所述待处理文本中的每两个相邻的基本单元，根据所述两个相邻的基本单元的特征向量，计算得到所述两个相邻的基本单元之间的相似度，包括：

针对所述待处理文本中的每两个相邻的基本单元，根据所述两个相邻的基本单元的降维特征向量，计算得到所述两个相邻的基本单元之间的相似度。

6.根据权利要求1至5中任意一项所述的发现方法，其特征在于，所述将所述多个子文本作为新词加入所述词汇库之前，还包括：

计算每一个所述子文本的关联统计指标；

从所述多个子文本中，筛选出关联统计指标大于关联统计指标阈值的子文本；

所述将所述多个子文本作为新词加入所述词汇库，包括：

将所述多个子文本中，关联统计指标大于所述关联统计指标阈值的子文本作为新词加入所述词汇库。