[发明专利]一种基于专家轨迹的量化投资方法及装置

说明书

本发明提出一种基于专家轨迹的量化投资方法及装置，解决了现有利用机器学习实现量化投资的方法忽略真实交易因素且考虑较局限的问题，首先收集历史数据，引入马尔可夫决策过程，降低量化投资交易的复杂度，基于强化学习中的Q学习方法，引入Q网络，实现状态到值函数的映射并输出每一个动作的值函数，然后设计专家轨迹，考虑上一个时间点与下一个时间点的情况，避免传统方法忽略真实交易因素且考虑较局限的问题，平衡强化学习中不确定策略的探索和开发的过程，使强化学习中的智能体更适应金融市场中不可避免的噪音，进一步训练Q网络，保证量化投资方法的有效性。

技术领域

本发明涉及量化投资分析的技术领域，更具体地，涉及一种基于专家轨迹的量化投资方法及装置。

背景技术

量化投资分析是指使用数理统计的方法辅助投资者做出的分析投资策略，而通过使用高性能的计算机技术，可以有效地分析大量数据，并根据预先编程的指令自动执行投资的动作。马尔可夫决策过程(Markov Decision Process，MDP)是随机环境下序列决策问题的定量化表达框架。随机环境下的序列决策问题，是指决策者在每个观测点上都要做出决策，并且决策时不知道下一个状态上的决策信息。一般来讲，这种决策问题不仅需要考虑当前决利益，还需要考虑当前决策对未来的影响，使系统的运行达到最优。智能体可以理解为智能的实体，它驻留在某一环境中，与环境交互产生奖励值，在量化投资策略中，智能体与期货市场交互，根据多空信号买卖合约，得到的奖励也就是智能体在市场中获得的收益，它所感知到的和它所拥有的先验知识，以一种被期望最大化其性能指标的方式运行，强化学习是智能体以试错的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。

近年来，通过计算机技术，特别是利用机器学习实现量化投资的方法越来越受到投资者和研究者的关注。比如，通过构建循环神经网络模型，使用股票历史价格数据以及基本面数据可以预测近期股票价格趋势和波动；通过构建循环神经网络模型对期货市场收盘后的相关新闻进行自然语言处理并分析情绪，可以预测下一个交易日开盘时合约价格的涨跌，2020年11月13日，中国专利(公开号：CN111931910A)中公开了一种基于强化学习和深度学习的投资方法及智能体，采用分层式结构进行建模，简化神经网络结构，保证资产管理模型的应用价值、泛化能力以及预测准确性，可以应用于繁琐复杂的金融市场，但仅通过预测准确性对模型性能进行衡量具有局限性，忽略了长期的投资目标及投资的收益，此外该方法也忽略了真实交易过程中的一些重要因素，如交易成本等。

发明内容

为解决现有利用机器学习实现量化投资的方法忽略真实交易因素且考虑较局限的问题，本发明提出一种基于专家轨迹的量化投资方法及装置，通过专家轨迹使强化学习中的智能体更适应金融市场中不可避免的噪音，保证投资者的收益。

为了达到上述技术效果，本发明的技术方案如下：

一种基于专家轨迹的量化投资方法，至少包括：

S1.根据预设的投资标的，获取历史交易数据，并根据预设的交易周期将历史交易数据划分为训练数据和测试数据；

S2.引入马尔可夫决策过程，确认智能体观测到的状态集合、智能体动作集合及智能体与环境交互获得的奖励函数；

S3.基于强化学习中的Q学习方法，引入Q网络，实现状态到值函数的映射并输出每一个动作的值函数；

S4.根据训练数据设计专家，基于下一时刻和当前收盘价做出正确的交易动作以获得最大累计奖励，并形成专家轨迹；

S5.根据马尔可夫决策过程及专家轨迹训练Q网络；

S6.利用测试数据在训练好的Q网络中进行投资收益测试。

优选地，步骤S1所述的历史交易数据包括投资标的种类、主力合约的5分钟频率价格、交易时间范围、成交量及成交金额。