[发明专利]一种文本信息处理方法、装置和系统有效
| 申请号： | 201610091229.X | 申请日： | 2016-02-18 |
| 公开（公告）号： | CN107092588B | 公开（公告）日： | 2022-09-09 |
| 发明（设计）人： | 林全郴;刘黎春;赵建春 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06F40/289 | 分类号： | G06F40/289;G06F40/216 |
| 代理公司： | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人： | 黄威 |
| 地址： | 518000 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种文本信息处理方法、装置和系统；本实施例采用将训练语料划分为单字，以及字串，并分别统计该单字和字串在训练语料中出现的概率，得到单字的独立概率，以及字串所对应的联合概率，然后，根据该独立概率和联合概率选择候选新词，得到候选新词集合，在确定该候选新词集合中的候选新词不在预设常用词典中，且联合概率大于预设阈值时，确定该候选新词为新词；该方案不仅可以简化流程，节省计算资源，而且，可以提高新词发现率，改善处理效果。 | ||
| 搜索关键词： | 一种 文本 信息处理 方法 装置 系统 | ||
【主权项】：
一种文本信息处理方法，其特征在于，包括：获取文本信息，并根据所述文本信息确定训练语料；将所述训练语料划分为单字，以及字串；分别统计所述单字和字串在训练语料中出现的概率，得到单字的独立概率，以及字串所对应的联合概率；根据所述独立概率和联合概率选择候选新词，得到候选新词集合；确定所述候选新词集合中的候选新词不在预设常用词典中，且联合概率大于预设阈值时，确定所述候选新词为新词。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610091229.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种制动鼓钻孔加工工装
- 下一篇：一种具有定位指针的植筋架
