[发明专利]数据处理方法及装置、数据查询方法及装置在审
申请号: | 202110435850.4 | 申请日: | 2021-04-22 |
公开(公告)号: | CN113076423A | 公开(公告)日: | 2021-07-06 |
发明(设计)人: | 毛顺亿;李秋逸;刘小瑒;朱学浩;许慢;张金剑;刘磊 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/31;G06F16/332 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 310013 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 数据 查询 | ||
1.一种数据处理方法,应用于数据管理平台,包括:
对获取的多个文本数据进行预处理,并基于预处理后的所述多个文本数据之间的相似度,将所述多个文本数据划分为至少一种类型;
确定每种类型的文本数据的目标问题、目标答案以及与所述目标问题关联的扩展问题;
确定所述目标问题在数据存储平台对应的数据库,并将所述目标问题、所述目标答案以及所述扩展问题存储至对应的数据库;
获取所有数据库中相同的目标问题,并将所述相同的目标问题关联的不同扩展问题进行数据库共享。
2.根据权利要求1所述的数据处理方法,所述对获取的多个文本数据进行预处理之前,还包括:
获取多个在线文本数据和多个离线文本数据,基于所述多个在线文本数据和所述多个离线文本数据形成多个文本数据。
3.根据权利要求1所述的数据处理方法,所述对获取的多个文本数据进行预处理,包括:
根据预设过滤规则对获取的多个文本数据进行规则过滤;
根据语句评分规则对通过规则过滤后的多个文本数据进行语句过滤;
根据情感分析规则对通过语句过滤后的多个文本数据进行情感过滤。
4.根据权利要求3所述的数据处理方法,所述根据语句评分规则对通过规则过滤后的多个文本数据进行语句过滤,包括:
将通过规则过滤后的多个文本数据输入语言模型,获得规则过滤后的多个文本数据中每个文本数据的语句得分;
从规则过滤后的多个文本数据中,删除语句得分小于等于预设得分阈值的文本数据。
5.根据权利要求3或4所述的数据处理方法,所述根据情感分析规则对通过语句过滤后的多个文本数据进行情感过滤,包括:
获取通过语句过滤后的多个文本数据中每个文本数据的语料情绪以及敏感词;
从通过语句过滤后的多个文本数据中,删除语料情绪满足预设情绪阈值或者包含敏感词的文本数据。
6.根据权利要求1所述的数据处理方法,所述基于确定所述目标问题在数据存储平台对应的数据库,包括:
通过对所述目标问题的文本处理确定所述目标问题对应的领域;
基于所述目标问题对应的领域确定所述目标问题对应的数据库领域,并基于所述数据库领域确定所述目标问题在数据存储平台对应的数据库。
7.根据权利要求1所述的数据处理方法,所述将目标问题、所述目标答案以及所述扩展问题存储至对应的数据库,包括:
判断所述目标问题对应的数据库中是否已经存储所述目标问题,
若是,则将所述目标问题关联的扩展问题存储至对应的数据库,并与所述目标问题进行关联,
若否,则将所述目标问题、所述目标答案以及所述扩展问题存储至对应的数据库。
8.根据权利要求1所述的数据处理方法,所述将所述相同的目标问题关联的不同扩展问题进行数据库共享,包括:
确定所述相同的目标问题中每个目标问题不存在的扩展问题;
将所述每个目标问题不存在的扩展问题存储至所述每个目标问题对应的数据库,并与所述每个目标问题进行关联。
9.一种数据查询方法,应用于数据查询平台,包括:
接收客户端发送的、携带有文本问题的数据查询请求;
基于所述数据查询请求对所述文本问题进行预处理,确定所述文本问题在数据存储平台对应的数据库;
从与所述文本问题对应的数据库中,获取与所述文本问题对应的多个文本答案;并从所述多个文本答案中确定与所述文本问题对应的目标文本答案,其中,所述数据存储平台为权利要求1中的数据存储平台。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110435850.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置