[发明专利]数据处理方法、装置、存储介质和处理器在审
申请号: | 202111510653.0 | 申请日: | 2021-12-10 |
公开(公告)号: | CN114116680A | 公开(公告)日: | 2022-03-01 |
发明(设计)人: | 曾开新;许贤铭;杨青 | 申请(专利权)人: | 度小满科技(北京)有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/215;G06Q10/06;G06Q40/02 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 赵昀彬 |
地址: | 100193 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 处理器 | ||
本发明公开了一种数据处理方法、装置、存储介质和处理器。其中,该方法包括:基于自编码器将第一类型的第一样本数据进行转换,得到第一类型的第二样本数据,且基于第一样本数据和第二样本数据确定目标阈值,其中,第二样本数据为第一样本数据的重建结果;基于自编码器将第二类型的第三样本数据进行转换,得到第二类型的第四样本数据,其中,第四样本数据为第三样本数据的重建结果;基于目标阈值和第四样本数据,在第三样本数据中选取第五样本数据;输出第五样本数据,其中,第五样本数据用于训练得到目标模型。本发明解决了筛选模型的样本数据的准确率低的技术问题。
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、存储介质和处理器。
背景技术
目前,在实际信贷风控场景中,收集样本的时间跨长,导致样本很容易受到政策、市场环境、模型策略调整的影响,如果一些受到影响的样本在训练集中,反而无法真实预测最新线上的情况,从而导致存在筛选模型的样本数据的准确率低的技术问题。
针对上述技术中预测筛选模型的样本数据的准确率低的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、存储介质和处理器,以至少解决筛选模型的样本数据的准确率低的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法。该方法包括:基于自编码器将第一类型的第一样本数据进行转换,得到第一类型的第二样本数据,且基于第一样本数据和第二样本数据确定目标阈值,其中,第二样本数据为第一样本数据的重建结果;基于自编码器将第二类型的第三样本数据进行转换,得到第二类型的第四样本数据,其中,第四样本数据为第三样本数据的重建结果;基于目标阈值和第四样本数据,在第三样本数据中选取第五样本数据;输出第五样本数据,其中,第五样本数据用于训练得到目标模型。
可选地,基于第一样本数据训练得到自编码器。
可选地,将第一类型的第一样本数据进行转换,得到第一类型的第二样本数据,包括:基于自编码器对第一样本数据进行压缩,得到第一压缩结果,且对第一压缩结果进行还原,得到第二样本数据。
可选地,基于第一样本数据和所述第二样本数据确定目标阈值,包括:对第一样本数据和第二样本数据进行比较,得到第一比较结果;基于第一比较结果确定目标阈值。
可选地,第一样本数据包括多个第一子样本数据,第二样本数据包括与多个第一子样本数据一一对应的多个第二子样本数据,对第一样本数据和第二样本数据进行比较,得到第一比较结果,包括:获取每个第一子样本数据和每个第二子样本数据之间的第一均方根误差,得到多个第一均方根误差。
可选地,基于第一比较结果确定目标阈值,包括:对多个第一均方根误差进行排序,得到排序结果;基于排序结果确定目标阈值。
可选地,基于自编码器将第二类型的第三样本数据进行转换,得到第二类型的第四样本数据,包括:基于自编码器对第三样本数据进行压缩,得到第二压缩结果,且对第二压缩结果进行还原,得到第四样本数据。
可选地,基于目标阈值和第四样本数据,在第三样本数据中选取第五样本数据,包括:对第三样本数据和第四样本数据进行比较,得到第二比较结果;基于第二比较结果和目标阈值,在第三样本数据中选取第五样本数据。
可选地,第三样本数据包括多个第三子样本数据,第四样本数据包括与多个第三子样本数据一一对应的多个第四子样本数据,对第三样本数据和第四样本数据进行比较,得到第二比较结果,包括:获取每个第三子样本数据和每个第四子样本数据之间的第二均方根误差,得到多个第二均方根误差。
可选地,基于第二比较结果和目标阈值,在第三样本数据中选取第五样本数据,包括:将第三样本数据中,第二均方根误差小于目标阈值的第三子样本数据确定为第五样本数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于度小满科技(北京)有限公司,未经度小满科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111510653.0/2.html,转载请声明来源钻瓜专利网。