[发明专利]输入法多元词发现方法及装置在审
| 申请号： | 202110493402.X | 申请日： | 2021-05-07 |
| 公开（公告）号： | CN113204963A | 公开（公告）日： | 2021-08-03 |
| 发明（设计）人： | 沈哲吉;贾昌鑫;鲍宁;孙明东 | 申请（专利权）人： | 北京华宇信息技术有限公司 |
| 主分类号： | G06F40/289 | 分类号： | G06F40/289;G06F16/31;G06F3/023 |
| 代理公司： | 北京中索知识产权代理有限公司 11640 | 代理人： | 胡大成 |
| 地址： | 100084 北京市海淀区中关村*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 输入法 多元 发现 方法 装置 | ||
1.一种输入法多元词发现方法，其特征在于，包括以下步骤：
获取语料数据；
通过分词模型，对所述语料数据进行分词，生成若干分词单元；
以WFP数据结构存储分词单元；
通过读取WFP数据结构，比较分词单元与分词单元的关联性，确定分词单元组合；
添加所述分词单元组合至词库。
2.如权利要求1所述的输入法多元词发现方法，其特征在于，所述以WFP数据结构存储分词单元，具体包括：
构建字符索引表和频次特征树，生成初始WFP数据结构；
将若干分词单元构成的语句逻辑体导入初始WFP数据结构，生成最终WFP数据结构；
其中，频次特征树由若干个节点构成，所述频次特征树用于描述分词单元在语料数据的词频信息；所述节点存在前项索引集合、后项索引集合、当前节点的分词单元，以及当前节点词频；
字符索引表由若干个字符索引组成，单个字符索引代表唯一对应的一个分词单元；字符索引用于记录节点在的频次特征树中的位置信息。
3.如权利要求2所述的输入法多元词发现方法，其特征在于，所述将若干分词单元构成的语句逻辑体导入初始WFP数据结构，生成最终WFP数据结构，具体包括：
初始WFP数据结构获取语句逻辑体中第一分词单元；
查找对应第一分词单元的前项分词单元的节点nodepre；
判断第一分词单元是否在前项分词单元节点nodepre的后项索引集合postset中；
当第一分词单元在前项分词单元节点nodepre的后项索引集合postset中，将前项分词单元节点nodepre的后项索引集合postset中第一分词单元所在的nodepre-p节点的频次增加1；
获取语句逻辑体中第一分词单元的后项分词单元，重复判断后项分词单元是否在第一分词单元节点的后项索引集合中，直至初始WFP数据结构存储若干分词单元构成的语句逻辑体，生成最终WFP数据结构。
4.如权利要求2所述的输入法多元词发现方法，其特征在于，所述将若干分词单元构成的语句逻辑体导入初始WFP数据结构，生成最终WFP数据结构，具体包括：
初始WFP数据结构存储若干分词单元构成的语句逻辑体；
初始WFP数据结构获取语句逻辑体中第一分词单元；
查找对应第一分词单元的前项分词单元的节点nodepre；
判断第一分词单元是否在前项分词单元节点nodepre的后项索引集合postset中；
当第一分词单元不在前项分词单元节点nodepre的后项索引集合postset中，判断第一分词单元是否在字符索引表WTable中；
当第一分词单元在字符索引表WTable中，将第一分词单元在字符索引表WTable中对应的字符索引windex中添加一个记录wkposp；
获取语句逻辑体中第一分词单元的后项分词单元，重复判断后项分词单元是否在在字符索引表WTable中，直至初始WFP数据结构存储若干分词单元构成的语句逻辑体，生成最终WFP数据结构。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京华宇信息技术有限公司，未经北京华宇信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110493402.X/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种食品生产用预冷装置
- 下一篇：一种测定土壤中丙烯酰胺的检测方法
