[发明专利]一种利用模拟环境重构投融资行为的方法

说明书

本发明公开一种利用模拟环境重构投融资行为的方法，将需要融资的项目与各个投资机构接触的整个过程划分为六个阶段，并定义了每个阶段项目提供的内容与投资机构的反馈信息；利用历史数据对投资机构的决策进行学习并将投资机构虚拟化，利用生成对抗网络来生成与真实的投资机构一致的投资机构行为数据；对投融资结果进行预测，定义企业自身的策略，以及利用强化学习算法对两个策略π_investor和π_project进行更新，得到训练好的策略π_investor和π_project。本发明提出的方法对投资机构进行模拟，可以大大降低试错成本，并提高投融资活动的效率。

技术领域

本发明涉及一种利用模拟环境重构投融资行为的方法，使用强化学习的方法建立投融资环境模型，为用户提供结果准确的投融资行为模型。

背景技术

FA，财务顾问。本质上做的是企业的融资中介，对接项目和资金。FA的作用就是帮助解放投资人劳动力，高效投准项目；帮助项目快速融到资金，节约时间成本。对于投资人来说，FA是投资人的项目过滤器，不仅仅可以给投资人不停地推项目，更重要的是可以帮助筛选项目，能为不同领域的投资人匹配较精准的项目，提高效率。专业的FA可以提供有针对性的服务。FA了解主流投资机构的口味与风格，可以实现最优匹配。FA以自身的信誉做背书，可以使企业接触到投资机构决策层，并且可以同时引荐几家不同的投资机构，有利于交易条件谈判。同时，以FA出面来撮合交易，企业可以在很大程度上避免销售过度的形象，有利于融资成功。 FA 过程通常有多个阶段，每个阶段都包含企业和投资机构的决策行为，是典型的序列决策过程。

强化学习（Reinforcement Learning, RL）是一种高效的解决序列决策问题的机器学习方法，在强化学习中，智能体（agent）与环境试错交互，并从试错轨迹中学习策略以达成回报最大化或实现特定目标。基于模型（Model-based）的强化学习方法是让智能体学习环境的转移（transition）模型，该模型描述了环境是如何工作的，然后智能体利用这个模型做出动作规划。基于历史交互数据，使用机器学习方法可以得到环境模型，然后，训练智能体使用这个模型，而不需要额外的真实环境的反馈。环境模型可以带来巨大的优势，尤其是在尝试学习在物理世界里的行动策略时非常有用。在物理环境试错学习需要不可避免的时间和成本。于是，我们可以通过建立环境模型来解决物理环境试错学习的局限性。

当前基于机器学习方法进行的投资融资问题分析，大多使用监督学习类的方法。工作的重点侧重于对企业和投资机构的特征画像，使用诸如自然语言处理处理、专家知识介入等方法对企业及投资机构的过往信息进行分析，然后由人类专家对分析结果进行判断和序列决策。虽然上述做法能很大程度地保证信息获取的完整性，但其一：通常，过往信息数据有限，且属于高维文本数据，使用基于深度学习的自然语言处理等方法对信息进行处理常常难以训练出有效的模型，有时甚至完全不能提取到可分析的、有用的信息；同时，知识图谱等专家知识的介入也会进一步提高人工成本。其二：使用监督学习方法时，忽略了整个投融资过程中间的交互步骤，这些交互步骤中包含了企业和投资机构策略表现出的行为，而双方的策略通常是耦合的，实际上不符合监督学习的“数据独立同分布”假设。因此，在本问题中，使用监督学习方法通常会过拟合数据中表现出来的非一般特性，甚至会给出错误信息。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种利用模拟环境重构投融资行为的方法，具体是一种对投融资过程进行模拟，并使用模拟结果对投融资结果进行预测的训练方法。

技术方案：一种利用模拟环境重构投融资行为的方法，第一方面，将需要融资的项目与各个投资机构接触的整个过程划分为六个阶段，并定义了每个阶段项目提供的内容与投资机构的反馈，从而将原先的过程分为固定的六个阶段，在每个阶段投资机构都会有固定的回应信息。