[发明专利]在线训练的特征数据写入方法和系统

说明书

本申请提供一种在线训练的特征数据写入方法、系统、计算机设备和存储介质，所述方法包括：接收多个针对在线训练的特征数据的写入操作；将各个写入操作依次汇总至预设脚本当中，其中，预设脚本预先配置写入在线训练特征数据的处理指令；请求redis服务端运行预设脚本，以通过redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。上述方法仅需将多个请求通过预设脚本一次发送，向redis服务端请求一次，减少网络开销和网络时延，即可触发多个在线训练的特征数据的写入以及进行特征数据的在线训练，提高在线训练特殊数据的效率。

技术领域

本申请涉及数据处理技术领域，具体而言，本申请涉及一种在线训练的特征数据写入方法、系统、计算机设备和存储介质。

背景技术

Redis(Remote Dictionary Server，远程字典服务)性能十分优越，可以支持每秒十几万此的读/写操作，其性能远超数据库，并且还支持集群、分布式、主从同步等配置，原则上可以无限扩展，让更多的数据存储在内存中。机器学习有许多训练特征，针对在线数据会存储很多维度的特征数据。在训练过程中需要调用大量在线特征以及训练后产生大量在线特征都会存储在redis集群中。

在redis中读写操作分离，在线特征通过writer服务写入到redis集群，以及由reader服务从redis集群中汇总或者读取对应的特征数据。

导致在每次在线训练中读写数据都得分别直接调用若干次redis操作中的writer服务和reader服务，对redis的操作频率高，影响了在线训练效率。

发明内容

基于此，有必要针对上述的技术缺陷，特别是操作redis频率高，在线训练效率低的技术缺陷，提供一种在线训练的特征数据写入方法、系统、计算机设备和存储介质。

一种在线训练的特征数据写入方法，包括如下步骤：

接收多个针对在线训练的特征数据的写入操作；

将各个写入操作依次汇总至预设脚本当中，其中，所述预设脚本预先配置写入在线训练所述特征数据的处理指令；

请求redis服务端运行所述预设脚本，以通过所述redis服务端依次执行各个写入操作和在redis集群中写入在线训练的特征数据。

在一个实施例中，所述预设脚本是Lua脚本语言编写的脚本。

在一个实施例中，在所述将各个写入操作依次汇总至预设脚本当中的步骤之前，还包括：

将各个在线训练所述特征数据的读取操作写入所述预设脚本中，以使处理指令调用所述在线训练的特征数据。

在一个实施例中，所述redis服务端还用于在约束条件满足时，启动执行所述预设脚本。

在一个实施例中，所述请求redis服务端运行所述预设脚本的步骤，包括：

向所述redis服务端上传所述预设脚本；

向所述redis服务端发送执行请求，以请求所述redis服务端运行所述预设脚本。

在一个实施例中，所述redis服务端还用于接收其他redis客户端发送的执行请求来运行所述预设脚本。

在一个实施例中，所述redis服务端还用于在检测到所述预设脚本发生更新时执行更新后的预设脚本。

一种在线训练的特征数据写入系统，包括：

接收模块，用于接收针多个对在线训练的特征数据的写入操作；

汇总模块，用于将各个写入操作依次汇总至预设脚本当中，其中，所述预设脚本预先配置写入在线训练所述特征数据的处理指令；