[发明专利]一种数据处理方法及数据状态预测模型的训练方法

说明书

本发明公开了一种数据处理方法、数据状态预测模型的训练方法、数据处理装置、计算设备及介质，数据处理方法包括：提取待处理的数据的混合特征，混合特征包括静态特征和动态特征；根据该混合特征，形成待处理的数据的特征向量集；将该特征向量集输入到预先训练好的数据状态预测模型中，以预测该数据对应的状态；若该状态指示该数据为冷数据，则将该数据进行迁移。

技术领域

本发明涉及数据处理领域，特别涉及一种数据处理方法、数据状态预测模型的训练方法、数据处理装置、计算设备及介质。

背景技术

追求存储成本和系统性能的平衡是DBMS(Database Management System，数据库管理系统)设计的核心目标之一。在一个数据库管理系统中，数据有冷热之分，频繁被访问的数据称为热数据(hot data)，与之相对的，访问不频繁甚至在一段时间内都不被访问数据归为冷数据(cold data)。

传统数据库将所有数据都存储在同一种存储介质中，并且通过LRU(Leastrecently used最近最少使用)和caching(缓存)提高访问效率。现代很多数据库采用混合存储架构，从memory(内存)、NVM(Non-Volatile Memory，非易失存储器)、SSD(Solid StateDrives，固态硬盘)再到HDD(Hard Disk Drive，硬盘驱动器)，每一层的存储介质都对应着不同的存储成本。

为了将系统性能保持在高水位，同时最大程度上节省存储成本，可考虑根据数据冷热将其存储在不同的存储介质上，因此，如何对数据冷热进行精确预测尤为重要。微软公司为数据库引擎Hekaton设计的冷数据管理系统Siberia，采用Exponential Smoothing(指数平滑)的方法预测数据冷热，并采用Backward(后向)扫描算法，从后往前扫描计算出在每个时间区段中每个数据的访问上限下限区间，根据访问下限可以过滤出在当前时间点前K热度的数据。但Siberia系统只能获得最热的K个数据而不能得到所有的热数据，在其测试数据中，部分场景的损失率可高达25％，且不是一个针对电商场景的模型。

发明内容

为此，本发明提供一种数据处理方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据处理方法，该方法包括如下步骤：首先，提取待处理的数据的混合特征，混合特征包括静态特征和动态特征；根据混合特征，形成待处理的数据的特征向量集；将特征向量集输入到预先训练好的数据状态预测模型中，以预测该数据对应的状态；若该状态指示该数据为冷数据，则将该数据进行迁移。

可选地，在根据本发明的数据处理方法中，提取待处理的数据的混合特征，包括：获取待处理的数据的多个数据字段；从多个数据字段中筛选出满足预设的筛选规则的数据字段，将筛选出的一个或多个数据字段作为该数据的静态特征。

可选地，在根据本发明的数据处理方法中，筛选规则包括至少以下一项：对连续型的数据字段，若数据字段的值变化连续和/或值分布合理，则确定数据字段可作为该数据的静态特征；对离散型的数据字段，若数据字段的值指示数据字段对应的状态属性正常，则确定数据字段可作为该数据的静态特征。

可选地，在根据本发明的数据处理方法中，动态特征包括预定时段内对数据的访问次数。

可选地，在根据本发明的数据处理方法中，访问次数包括对数据进行选择操作的次数和更新操作的次数。

可选地，在根据本发明的数据处理方法中，根据混合特征，形成待处理的数据的特征向量集，包括：对混合特征中的各静态特征，若静态特征的值为非数值类型，则对静态特征的值进行编码处理，以生成对应的静态特征向量；若静态特征的值为数值类型，则根据静态特征的值形成对应的静态特征向量；基于混合特征中的动态特征的值形成对应的动态特征向量；组合各静态特征向量和动态特征向量，以形成该数据的特征向量集。