[发明专利]词库生成方法和装置

说明书

本申请提出一种词库生成方法和装置，涉及人工智能技术领域。本发明的一种词库生成方法，包括：步骤i)：根据开源词库确定基本词汇库；步骤ii)：根据基本词汇库，基于词频统计的分词方法处理部分语料文本，获取更新词汇；步骤iii)：以预定策略利用更新词汇更新基本词汇库；循环执行步骤ii)、iii)，直至完成全部语料文本的处理；根据更新后的基本词汇库建立词库。通过这样的方法，能够基于已有的开源词库，通过处理语料文本的方式对词库进行更新，再用更新后的词库去处理语料文本，循环该过程，能够基于具有时效性的语料文本更新词库，从而使词库能够不断的更新和丰富，在无需依赖输入法的情况下得到最新词库。

技术领域

本申请涉及人工智能技术领域，特别是一种词库生成方法和装置。

背景技术

在人工智能技术的发展中，词库是决定人工智能水平的重要基础，也是各大公司的核心竞争力之一。传统的词库建立方法一般依赖于输入法，通过统计用户输入的内容来进行数据更新。但是，具有输入法的企业一般不会开源其最新词库。用户无法使用，或是需要支付高昂的费用才能够使用最新词库，这大大提高了人工智能技术发展的成本。而目前可用的开源词库版本较老，词汇的覆盖广度有限，因此，很有必要形成一种脱离输入法的获取最新词库的方案。

发明内容

本申请的一个目的在于提出一种脱离输入法的词库生成方案。

根据本申请的一个方面，提出一种词库生成方法，包括：

步骤i)：根据开源词库确定基本词汇库；

步骤ii)：根据基本词汇库，基于词频统计的分词方法处理部分语料文本，获取更新词汇；

步骤iii)：以预定策略利用更新词汇更新基本词汇库；

循环执行步骤ii)、iii)，直至完成全部语料文本的处理；

根据更新后的基本词汇库建立词库。

可选地，以预定策略利用更新词汇更新基本词汇库包括：每完成一篇文本的处理后，利用处理该文本产生的更新词汇更新基本词汇库。

可选地，语料文本为利用网页爬虫获取的互联网网页文本。

可选地，还包括：生成基本词汇库中词汇的词向量。

可选地，还包括：基于迭代算法优化词向量以使词向量体现词汇的相互关系。

可选地，根据更新后的基本词汇库建立词库包括：将基本词汇库中的各个更新词汇出现的频率和/或次数与预定阈值相比较，若频率和/或次数低于阈值，则删除该更新词汇及该更新词汇的词向量；生成词库，词库中包括基本词汇库中的词汇和词汇的词向量。

通过这样的方法，能够基于已有的开源词库，通过处理语料文本的方式对词库进行更新，再用更新后的词库去处理语料文本，循环该过程，能够基于具有时效性的语料文本更新词库，从而使词库能够不断的更新和丰富，在无需依赖输入法的情况下得到最新词库。

根据本申请的另一个方面，提出一种词库生成装置，包括：基本词汇库确定单元，用于根据开源词库确定基本词汇库；更新词汇获取单元，用于根据基本词汇库，基于词频统计的分词方法处理部分语料文本，获取更新词汇；基本词汇库更新单元，用于以预定策略利用更新词汇更新基本词汇库，继而调用更新词汇获取单元，直至完成全部语料文本的处理；词库建立单元，用于根据更新后的基本词汇库建立词库。

可选地，基本词汇库更新单元用于在每完成一篇文本的处理后，利用处理该文本产生的更新词汇更新基本词汇库。

可选地，词库生成装置还包括：语料文本获取单元，用于利用网页爬虫获取互联网网页文本作为语料文本。

可选地，还包括：词向量生成单元，用于生成基本词汇库中词汇的词向量。