[发明专利]基于影像资料调用业务场景实现资料冷热分离存储的方法

说明书

本发明公开了一种基于影像资料调用业务场景实现资料冷热分离存储的方法，属于影像资料冷热分离存储技术领域，解决现有技术造成冷热数据预判的准确率低，调取响应时间长等问题。本发明基于获取的影像资料是否是首次提交或/和基于预测得到的下一个需要办理的业务进行处理时，临时预热区域内的影像资料是否被调用或/和影像资料冷热更新，对临时预热区域、热数据区域或/和冷数据区域中的影像资料进行冷热分离处理，并将分离后的数据分别存储在热数据区域和冷数据区域。本发明用于影像冷热分离存储。

技术领域

一种基于影像资料调用业务场景实现资料冷热分离存储的方法，用于影像冷热分离存储，属于影像资料冷热分离存储技术领域。

背景技术

随着互联网、大数据和电子商务的发展，互联网金融得到了快速发展，越来越多的金融业务办理实现了互联网化，网上业务办理，产生了大量的影像资料，如何快速、高效、合理的存储、调阅和管理这些影像资料显得尤为重要。目前的影像冷热分离方法基本上是通过调用次数对数据进行冷热判断，然后将冷热数据进行分层存储。由于影像数据量非常庞大，因此，常常将冷数据存储在一些查询效率较慢的存储介质中。在某些调用影像的业务场景中，影像资料的访问频率低但是要求存储的有效性很长。如线上用户开户时上传的身份证照片，当次办理业务后，进行存储，过了很久进行线上的鉴权，可能又会调阅该用户的身份证照片，此时将该影像定义为冷数据，调阅需要花费很长时间是不能接受的。

目前的冷热数据预判方法主要存在以下问题：

1.通过调阅次数来进行预判为冷热数据，在业务办理场景中，冷数据会突然变为热数据，业务办理完成后，热数据也可能很久不会调用，因此造成调阅次数来进行冷热数据预判的准确率低。

2.将冷数据进行分层存储，业务办理时，先将数据预热，再调取，响应时间长。

3.冷数据的查询效率普遍较慢，响应时间长。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于影像资料调用业务场景实现资料冷热分离存储的方法，解决现有技术造成冷热数据预判的准确率低，调取响应时间长等问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于影像资料调用业务场景实现资料冷热分离存储的方法，如下步骤：

步骤1、根据应用场景中的埋点技术，实时采集用户行为数据，获取基于用户行为数据提交的影像资料，并判断获取的影像资料是否是首次提交，若不是首次提交，转到步骤2，若是首次提交，存储在热数据区域，再转到步骤2，其中，影像资料为非结构化数据，包括图片、视频和PDF；

步骤2、基于当前用户行为数据、历史用户行为数据和训练好的用户行为预测模型，预测用户下一个需要办理的业务；

步骤3、若下一个需要办理的业务对应的影像资料存储在冷数据区域，则将其调取到临时预热区域，再转到步骤4，若存储在热数据区域，则不做处理；

步骤4、处理下一个需要办理的业务时，临时预热区域内的影像资料被调用，则将临时预热区域内的影像资料移动到热数据区域进行存储，若未被调用，则将其移回冷数据区域进行存储。

进一步，还包括影像资料冷热更新，即指每日检测热数据区域中存储的影像资料，判断其是否超过给定的时间阈值、且未被调用，若是，将其判定为冷影像资料，并将此影像资料移动到冷数据区域进行存储，若否，则仍为热影像资料，仍存储在热数据区域，其中，给定的时间阈值为7-30日。

进一步，所述步骤1的具体步骤为：

步骤1.1、在调取影像资料的应用场景中，用户登录或浏览入口页面时，基于埋点技术会实时产生用户操作行为数据，即用户行为数据，产生后实时地记录用户行为数据，并获取基于用户行为数据提交的影像资料；