[发明专利]文本处理方法、装置及存储介质有效
申请号: | 201911032610.9 | 申请日: | 2019-10-28 |
公开(公告)号: | CN110750987B | 公开(公告)日: | 2021-02-05 |
发明(设计)人: | 李快 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F16/35 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 刘晖铭;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 处理 方法 装置 存储 介质 | ||
本申请实施例提供了一种文本处理方法、装置及存储介质,其中,方法包括:获取待处理文本和所述待处理文本的标签;根据所述标签,分别对所述待处理文本的第一部分和第二部分进行特征提取,对应得到第一词向量和第二词向量;确定所述第一词向量和所述第二词向量之间的距离;根据所述距离,确定所述第一部分与所述第二部分之间的匹配度。通过本申请,能够准确的提取到所输入的待处理文本对应的特征数据,从而对待处理文本进行准确的匹配或分类。
技术领域
本申请实施例涉及人工智能技术领域,涉及但不限于一种文本处理方法、装置及存储介质。
背景技术
对于持续更新并呈现给用户内容的信息流(feed流)的分类和匹配处理,需要首先获取到feed流文件中的词向量特征,进行文本语义分析,并基于语义分析结果得到匹配结果,以实现对feed流的分类。
目前,常用的文本语义分析方法主要包括:通过词袋模型进行文本语义分析、通过卷积神经网络(CNN,Convolutional Neural Networks)或循环神经网络(RNN,RecurrentNeural Network)对输入的文本进行文本语义分析、通过双向transformer编码器(BERT,Bidirectional Encoder Representations from Transformers)进行文本语义分析。
但是,相关技术中的上述文本语义分析方法均不能准确的提取到所输入文本对应的特征数据,因此也就不能对文本进行准确的匹配和分类。
发明内容
本申请实施例提供一种文本处理方法、装置及存储介质,能够准确的提取到所输入的待处理文本对应的特征数据,从而对待处理文本进行准确的匹配或分类。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种文本处理方法,包括:
获取待处理文本和所述待处理文本的标签;
根据所述标签,分别对所述待处理文本的第一部分和第二部分进行特征提取,对应得到第一词向量和第二词向量;
确定所述第一词向量和所述第二词向量之间的距离;
根据所述距离,确定所述第一部分与所述第二部分之间的匹配度。
本申请实施例提供一种文本处理方法,包括:
获取待处理文本和所述待处理文本的标签;
根据所述标签,分别对所述待处理文本的第一部分和第二部分进行特征提取,对应得到第一词向量和第二词向量;
确定所述第一词向量对应的第一标签和所述第二词向量对应的第二标签;
根据所述第一标签和所述第二标签,对所述待处理文本进行分类,得到所述待处理文本的分类结果。
本申请实施例提供一种文本处理装置,包括:
第一获取模块,用于获取待处理文本和所述待处理文本的标签;
第一特征提取模块,用于根据所述标签,分别对所述待处理文本的第一部分和第二部分进行特征提取,对应得到第一词向量和第二词向量;
第一确定模块,用于确定所述第一词向量和所述第二词向量之间的距离;
第二确定模块,用于根据所述距离,确定所述第一部分与所述第二部分之间的匹配度。
本申请实施例提供一种文本处理装置,包括:
第二获取模块,用于获取待处理文本和所述待处理文本的标签;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911032610.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:基于最小信息熵的神经网络分词系统及训练方法
- 下一篇:基于人工智能的起名方法