[发明专利]一种文本模式生成方法、装置和计算设备有效
申请号: | 201611139530.X | 申请日: | 2016-12-12 |
公开(公告)号: | CN106776556B | 公开(公告)日: | 2019-10-11 |
发明(设计)人: | 阮松松;姜宁 | 申请(专利权)人: | 北京蓝海讯通科技股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京思睿峰知识产权代理有限公司 11396 | 代理人: | 赵爱军;谢建云 |
地址: | 100191 北京市海淀区西小*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种文本模式生成方法,适于在计算设备中执行,该方法包括:获取包括多条文本数据的文本库,并对其中每行文本数据进行分词处理;从文本数据中统计出每个单词的出现次数,并筛选出其中的高频词,将高频词及其出现次数进行关联存储;筛选出每行文本数据中的高频词,构成该行文本数据对应的高频词元组;根据各高频词在文本数据中的出现次数,计算任意两个高频词之间的依赖度;根据文本数据对应的高频词元组,生成每行文本数据的预选文本模式;根据高频词之间的依赖度,对预选文本模式进行修正,得到文本数据的修正文本模式;以及对修正文本模式进行相似度合并,得到文本模式库。本发明还公开了对应的文本模式生成装置和计算设备。 | ||
搜索关键词: | 一种 文本 模式 生成 方法 装置 计算 设备 | ||
【主权项】:
1.一种文本模式生成方法,适于在计算设备中执行,该方法包括:获取包括多条文本数据的文本库,并对其中每行文本数据进行分词处理;对文本库中的文本数据进行第一次遍历,统计出所有文本数据中每个单词的出现次数,并从中筛选出出现次数大于第一阈值的单词作为高频词,将高频词与该高频词的出现次数相关联的存储为高频词词典;分别从文本库中的每行文本数据中筛选出高频词,构成该行文本数据对应的高频词元组;根据各高频词在文本数据中的出现次数,计算任意两个高频词之间的依赖度;对文本库中的文本数据进行第二次遍历,根据文本数据对应的高频词元组,生成每行文本数据的预选文本模式;根据高频词之间的依赖度,对文本数据的预选文本模式进行修正,得到文本数据的修正文本模式;以及对文本数据的修正文本模式进行相似度合并,得到文本模式库。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京蓝海讯通科技股份有限公司,未经北京蓝海讯通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201611139530.X/,转载请声明来源钻瓜专利网。