[发明专利]输入法多元词发现方法及装置

说明书

本申请提供一种输入法多元词发现方法及装置，用于解决输入法发现多元词效率低的技术问题。其中，一种输入法多元词发现方法，包括以下步骤：获取语料数据；通过分词模型，对所述语料数据进行分词，生成若干分词单元；以WFP数据结构存储分词单元；通过读取WFP数据结构，比较分词单元与分词单元的关联性，确定分词单元组合；添加所述分词单元组合至词库。相对于现有技术，所述输入法多元词发现方法能实现多元词关系的发现，并且提高了发现多元词的准确率、效率。

技术领域

本申请涉及输入法技术领域，尤其涉及一种输入法多元词发现方法及装置。

背景技术

随着社会经济、文化和科技水平的不断发展和提高，人们日常使用的词汇和专业领域的词汇也在不断的发展。这导致了新词的迅速涌现与快速迭代发展。

快速发现人们日常中使用的新词，将极大的提高拼音输入法的准确性和及时性。

现有技术中，新词发现的方法可以分为两类。一种是基于语言规则的方法，另外一种是基于统计学习的方法。

在实现现有技术的过程中，发明人发现：

传统的基于语言规则的方法，主要是通过语言学家，构建相关领域的新词发现规则，同时也需要语言学家对于这些相关领域的规则进行维护。这种方法需要耗费大量的时间与金钱，同时也导致这些规则难以迁移到别的领域当中，限制了该类方法的泛用性。

基于统计学习的方法。该方法是通过从大量语料数据中，统计成字概率、字频和字左右信息熵，从而实现新词的发现。而该方法需要大量语料数据作为支持。由于该方法基于字为单位进行统计学分析，其分析速度相对较慢。此外，很多基于统计学习的方法，只能用于统计二元词之间的关系，而无法统计多元词之间的关系。

因此，需要提供一种输入法多元词发现方法及装置，用以解决输入法发现多元词效率低的技术问题。

发明内容

本申请实施例提供一种输入法多元词发现方法及装置，用以解决输入法发现多元词效率低的技术问题。

具体的，一种输入法多元词发现方法，包括以下步骤：

获取语料数据；

通过分词模型，对所述语料数据进行分词，生成若干分词单元；

以WFP数据结构存储分词单元；

通过读取WFP数据结构，比较分词单元与分词单元的关联性，确定分词单元组合；

添加所述分词单元组合至词库。

进一步的，所述以WFP数据结构存储分词单元，具体包括：

构建字符索引表和频次特征树，生成初始WFP数据结构；

将若干分词单元构成的语句逻辑体导入初始WFP数据结构，生成最终WFP数据结构；

其中，频次特征树由若干个节点构成，所述频次特征树用于描述分词单元在语料数据的词频信息；所述节点存在前项索引集合、后项索引集合、当前节点的分词单元，以及当前节点词频；

字符索引表由若干个字符索引组成，单个字符索引代表唯一对应的一个分词单元；字符索引用于记录节点在的频次特征树中的位置信息。

进一步的，所述将若干分词单元构成的语句逻辑体导入初始WFP数据结构，生成最终WFP数据结构，具体包括：

初始WFP数据结构获取语句逻辑体中第一分词单元；

查找对应第一分词单元的前项分词单元的节点node_pre；

判断第一分词单元是否在前项分词单元节点node_pre的后项索引集合postset中；