[发明专利]一种基于结合注意力的CNN-LSTM网络基金价格预测方法

权利要求书

1.一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于，具体步骤如下：

Step1：基金平台数据收集

从网络基金平台上搜集该基金股在过去两年内的历史数据，日期类型是基金价格的重要影响因素之一，由于基金周末是休市的事实上，投资者会有选择的调整投资策略，因此将日期类型作为重要考量之一，并将周一到周五分别编码为1～5。

Step2：基金数据预处理

采用的归一化处理方式为Min-Max归一化方法，使得所有的输入向量元素取值都在0-1之间。具体计算公式为其中，x_i^*为归一化后的基金价格特征值；x_i为第i个基金价格特征值，x_max，x_min分别为x_i中的最大值和最小值。

Step3：样本特征提取

参考自然语言处理中的词向量表示方法，将每天归一化后的基金价格收盘价与其相关的特征串联成向量表示，进而形成一个全新的时间序列数据。设历史时域为Γ_history＝11，预测时域为Γ_prediction，即采用前Γ_history天的基金数据预测未来Γ_prediction的基金收盘价格。遍历以时间排列的基金序列，采用滑动窗口方式(滑动窗口大小为Γ_history+Γ_prediction日，时步长为1日)，将数据转化为样本集，样本集输入量格式为X_size＝[样本数，Γhistory，特征属性数]，输出量格式为Y_size＝[样本数，Γ_prediction]。取Γ_prediction＝5，即采用前11天的基金数据预测未来5天的基金收盘价格。

Step4：建立基金价格预测网络模型

本发明所构建基于结合注意力机制的卷积-长短时记忆混合神经网络的基金价格预测模型有以卷积神经网络层构成的第一通道、长短时记忆网络层构成的第二通道、注意力层、输出层组成。

Step4.1搭建第一通道网络

为提取出特征参数的有效特征，构建卷积神经网络获取它们的高维信息向量。根据第一步骤生成的样本输入量，CNN输入特征图的大小为11*11。卷积神经网络的主要结构为2个卷积层，1个最大池化层、1个扁平层和1个全连接层，流程为第一卷积层→池化层→第二卷积层→扁平层→全连接层，最终获取基金价格第一通道的高层次特征向量C_r＝[c_r¹，c_r²，......，c_r¹¹]。

Step4.2搭建第二通道网络

第二通道部分包含了2层LSTM网络层，所述的LSTM网络由四个部分组成，分别为输入门(决定让多少新信息加入到细胞状态中)，忘记门(决定从细胞状态中丢弃什么信息)、输出门(决定最终输出什么信息)和细胞状态(在整个循环周期内定义和维护一个内部记忆单元状态)。其中LSTM神经元细胞中每个时刻不同门的更新公式如下：

遗忘门：f_t＝sigmoid(w_f*[h_t-1,x_t]+b_f)

输入门：i_t＝sigmoid(w_i*[h_t-1,x_t]+b_i)

输入的候选状态：

记忆细胞的输出：

输出门：o_t＝sigmoid(w_o*[h_t-1,x_t]+b_o)

单元输出：h_t＝o_t*tanh(c_t)

其中，w_i、w_f、w_o、w_c分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵；b_i、b_f、b_o、b_c为对应的偏置项；h_t-1为t-1时刻的隐藏层状态；x_t为t时刻的输入向量；tanh为双曲正切激活函数，最终获得基金价格第二通道的高层次特征向量H_c＝[h_c¹，h_c²，......，h_c¹¹]。

Step4.3结合注意力机制双通道联立

分别得到了第一通道和第二通道基金价格特征参数的高层次表达后，计算第二通道与第一通道基金价格特征向量融合注意力权重值其中，W_a为连接权重，b_a为偏置量，C_r^T为C_r的转置。并将每个注意力权重值进行归一化得到归一化后的注意力权重值与第二通道每个时步LSTM的隐含层输出值点乘获得注意力矩阵基金价格预测模型的输出层以一个输出单元个数为5的全连接层和sigmoid层组成，最后由sigmoid层输出未来5天的基金收盘价格未去归一化的预测值。

Step5：基金预测模型的训练与预测

本发明基于Keras深度学习框架，使用Keras框架中的CNN与LSTM网络、Attention相关模块构建模型算法，选取每批训练大小N为50，即每个Epoch选取50个样本；弃权系数选取0.2进行训练。收集历史11天的基金价格影响的11个影响属性，基于训练好的最优模型，并对未来5天的基金收盘价格进行实时预测，并去归一化得到预测的5天的基金收盘价格。