[发明专利]一种基于预测模型的数据表接入方法及系统

说明书

本发明提供一种基于预测模型的数据表接入方法及系统，所述方法包括：通过收集表征数据表的记录内容变化状态的历史相关数据；对所述历史相关数据进行数列描述，转换为多维特征历史数据；将所述多维特征历史数据输入到预测模型中进行运算；基于所述预测模型运算后输出的预测值，确定所述数据表是否接入，以此判断数据表的接入时机，大大减少了系统运算开支和资源的浪费，对于数据的利用率也得到显著的提升。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种基于预测模型的数据表接 入方法及系统。

背景技术

随着互联网技术普及，大数据处理和运算基于大量的数据表分析进行， 为了大数据分析目的，通常需要定期(例如每天)接入大量的数据表作为大 数据分析源。然而，每个数据表的活跃程度都不同，活跃周期也不尽相同， 在实际状况下，大量的数据表并不是活跃的，也就是说不是经常变化的，例 如，每天接入2万多个表，其中75％在20天内都无变化，可以定义这些活跃 程度较低的数据表为惰性表。在这种情况下，如果对所有的数据表都每天接 入进行分析，会造成巨大的系统资源浪费，但另一方面，如果随意的降低这 些惰性表的接入频率，则可能导致当这些表发生变化时，没有及时接入。由 此可见，这种情况下，如何判断数据表的接入时机是一个亟待解决的问题。

发明内容

鉴于上述问题，提出了本说明书以便提供一种克服上述问题或者至少部 分地解决上述问题的基于预测模型的数据表接入方法及系统。

第一方面，本说明书提供一种基于预测模型的数据表接入方法，包括： 收集表征数据表的记录内容变化状态的历史相关数据；对所述历史相关数据 进行数列描述，转换为多维特征历史数据；将所述多维特征历史数据输入到 预测模型中进行运算；基于所述预测模型运算后输出的预测值，确定所述数 据表是否接入。

根据本发明的优选实施方式，所述收集表征数据表的记录内容变化状态 的历史相关数据，进一步包括：

以预设时间段为单位，收集所述数据表的记录内容变化状态，作为所述 用于表征数据表的记录内容变化状态的历史相关数据。

根据本发明的优选实施方式，所述历史相关数据进一步包括：数据表变 化状态结果值，以及一个或多个数据表相关属性特征值。

根据本发明的优选实施方式，对所述历史相关数据进行数列描述，转换 为多维特征历史数据，进一步包括：

按时间顺序将所述历史相关数据中的所述数据表变化状态结果值描述为 状态变化数列，并将所述一个或多个数据表相关属性特征值分别对应所述状 态变化数列中的各个变化状态结果值进行标注，转换为多维特征历史数据。

根据本发明的优选实施方式，将所述多维特征历史数据输入到预测模型 中进行运算之前，还包括：

将预设一定历史时段内的数据表，及对应的历史相关数据作为样本数据 用于训练所述预测模型。

根据本发明的优选实施方式，所述将预设一定历史时段内的数据表作为 样本数据用于训练所述预测模型，进一步包括：

将预设一定历史时段内的数据表作为样本数据，将所述历史时段结束时 的接入状态作为分类标识，提取样本数据中相关的一个或多个属性特征值作 为特征变量；

使用所述特征变量训练所述预测模型。

根据本发明的优选实施方式，所述提取样本数据中相关的一个或多个属 性特征值作为特征变量，进一步包括：

提取样本数据中相关的一个或多个属性特征值，基于信息评价指标进行 变量筛选；

将筛选后的属性特征值作为特征变量。

根据本发明的优选实施方式，使用所述特征变量训练所述预测模型，还 包括：