[发明专利]基于人工智能的数据处理方法、装置、计算机设备及介质

说明书

本发明涉及人工智能技术领域，提供一种基于人工智能的数据处理方法、装置、计算机设备及介质，包括：采用第一等频分箱模型对原始数据进行分箱处理得到多个分箱数据，并根据多个分箱数据构建训练样本集；采用预设的多个拟合函数对训练样本集进行拟合计算得到每个拟合函数对应的拟合误差，并选取最小的拟合误差对应的拟合函数为目标拟合函数；切分训练样本集得到多个子训练样本集，采用目标拟合函数对多个子训练样本集进行拟合计算得到多个第一拟合参数；根据多个第一拟合参数计算测试样本集的多个第二拟合参数；根据多个第二拟合参数及目标拟合函数所述测试样本集的目标变量。本发明能够将原始数据处理为稳定的数据，且保留了数据的多样性。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的数据处理方法、装置、计算机设备及介质。

背景技术

在训练集和预测集存在较长时间间隔的模型预测场景中，例如，在保险代理人留存预测场景中，训练集和预测集的时间间隔可长达一年，数据的分布和模型的预测能力会随着时间发生一定的波动，此类不稳定数据的存在导致模型预测风险加大。

发明人在实现本发明的过程中发现，现有技术中为了降低模型预测的风险，利用特征选择的方式剔除不稳定的数据，或者信息平滑化处理，虽然能够降低模型的预测风险，但由于剔除的这些不稳定的数据中仍存在有利于模型预测的信息，因此，损失了信息的多样性，导致模型的预测精度也随之降低。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的数据处理方法、装置、计算机设备及介质，能够将原始数据处理为稳定的数据，且保留了数据的多样性。

本发明第一方面提供一种基于人工智能的数据处理方法，所述方法包括：

采用第一等频分箱模型对原始数据进行分箱处理得到多个分箱数据，并根据所述多个分箱数据构建训练样本集；

采用预设的多个拟合函数对所述训练样本集进行拟合计算得到每个拟合函数对应的拟合误差，并选取最小的拟合误差对应的拟合函数为目标拟合函数；

切分所述训练样本集得到多个子训练样本集，采用所述目标拟合函数对所述多个子训练样本集进行拟合计算得到多个第一拟合参数；

根据所述多个第一拟合参数计算测试样本集的多个第二拟合参数；

根据所述多个第二拟合参数及所述目标拟合函数计算所述测试样本集的目标变量。

根据本发明的一个可选的实施例，所述采用第一等频分箱模型对原始数据进行分箱处理得到多个分箱数据包括：

创建第一滑动窗口；

采用所述第一滑动窗口在所述原始数据中进行无重叠滑动，将每次滑动时所述第一滑动窗口对应的原始数据放入一个分箱中，得到多个分箱数据。

根据本发明的一个可选的实施例，所述根据所述多个分箱数据构建训练样本集包括：

计算每一个分箱数据中的多个指标变量的第一平均值及多个目标变量的第二平均值；

将每一个分箱数据对应的第一平均值及第二平均值作为一个训练样本；

基于所述多个分箱数据对应的训练样本构建训练样本集。

根据本发明的一个可选的实施例，所述根据所述多个第一拟合参数计算测试样本集的多个第二拟合参数包括：

将每个第一拟合参数按照时间顺序进行排序；

根据排序后的第一拟合参数计算参数拟合函数；

根据所述参数拟合函数及所述测试样本集的采集时间计算第二拟合参数。

根据本发明的一个可选的实施例，所述方法还包括：