[发明专利]基于深度强化学习的组合投资方法及智能体

说明书

本发明提供一种基于深度强化学习的组合投资方法及智能体，所述基于深度强化学习的组合投资方法，包括：S1，构建加密货币交易场景的基于深度强化学习的策略神经网络，所述策略神经网络使用深度多通道卷积神经网络，并结合了瓶颈注意力机制；S2，训练所述策略神经网络使得其参数最优化；S3，加载训练好的所述策略神经网络，接受实时的加密货币数据，通过所述策略神经网络获得下一个交易周期的资产分配权重，并根据资产分配权重来调整资金在加密货币市场中各个投资标的间的分配，从而实现最优的投资策略。本发明所述基于深度强化学习的组合投资方法及智能体，使用深度多通道卷积神经网络，并结合了瓶颈注意力机制，所以能力较佳。

技术领域

本发明涉及了机器学习中的深度强化学习技术领域，尤其是基于深度强化学习的组合投资方法和智能体。

背景技术

随着人工智能技术的发展，强化学习算法已经被广泛运用于金融领域。目前，通过搭建适合的交互环境，基于强化学习的投资组合管理模型已经被初步地应用于资产管理，例如申请号为201810030006.1所示方法，运用Q Learning的强化学习Deep Q-network(DQN)模型进行投资组合的管理。

由于Deep Q-network只适用于离散的行动空间，需要对于投资组合的动作空间进行离散化处理，这会导致智能体在随机动作探索阶段无法对每个动作进行充分探索，并且使Deep Q-network的全连接层出现大量神经元。这样一来，不仅对于动作空间的探索效率很低，而且神经网络的训练也会变得非常困难。并且，对于行动空间进行离散化处理通常需要限制投资标的的个数，并且忽略手续费，以此来减少权重向量的个数。这严重影响了该模型的应用价值和泛化能力。

发明内容

本发明的目的在于提供一种能力较佳的基于深度强化学习的组合投资方法及智能体。

本发明的目的通过以下技术方法来实现：

一种基于深度强化学习的组合投资方法，包括如下步骤：

S1，构建加密货币交易场景的基于深度强化学习的策略神经网络；

所述策略神经网络使用深度多通道卷积神经网络，并结合了瓶颈注意力机制，包括两个部分，所述策略神经网络的第一部分的输入为第N个交易周期的价格张量和上一个交易周期的资金分配权重，转化为投资组合中各个加密货币在下一个交易周期中的价格增长潜力的打分输出；所述策略神经网络的第二部分将所述策略神经网络的第一部分输出的各个加密货币在下一个交易周期中的价格增长潜力的打分转化为各个加密货币在下一个交易周期中资金分配权重，以此实现下一个交易周期中的所述加密货币投资组合的最高收益，所述策略神经网络的决策对应着一个马尔可夫策略过程；

S2，训练所述策略神经网络使得其参数最优化；

S3，加载训练好的所述策略神经网络，接受实时的加密货币数据，通过所述策略神经网络获得下一个交易周期的资产分配权重，并根据资产分配权重来调整资金在加密货币市场中各个投资标的间的分配，从而实现最优的投资策略。

优选的，所述S1中，所述第N个交易周期的价格张量通过如下方法得到：

S11，以三十分钟为一个交易周期，分别提取所要管理的加密货币的前0.5N小时中每个交易周期的收盘价、最高价和最低价，并根据收盘价计算出过去六期收盘价的引动平均，形成三个(N*M)的矩阵，M为该马尔可夫策略所管理的投资组合中的加密货币的数量；

S12，将S11中得到的三个矩阵分别除以上一个交易周期的收盘价，使每个矩阵都标准化；

S13，将S12中，对于价格张量中由于价格数据缺失无法计算得到数据的位置，用相对价格1进行填充；

S14，将经过S13得到的三个矩阵组合成一个(N*M*3)维的价格张量，即为第N个交易周期的价格张量。