[发明专利]通信交互方法、装置、存储介质、处理器及电子装置

说明书

本发明公开了一种通信交互方法、装置、存储介质、处理器及电子装置。该方法包括：基于预设通信协议向服务端发送请求消息，其中，请求消息中携带的信息至少包括：待执行的动作信息集合；接收来自于服务端的与请求消息对应的响应消息，其中，响应消息中携带的信息包括：服务端在动作信息集合执行完毕之后采集到的状态信息。本发明解决了相关技术所提供的强化学习训练系统的通信过程较为繁琐，操作复杂度较高的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种通信交互方法、装置、存储介质、处理器及电子装置。

背景技术

强化学习，又称增强学习，是一种广泛应用于人工智能(ArtificialIntelligence，简称为AI)控制虚拟角色的行为训练的技术。简而言之，即为一种根据环境反馈通过不断试错来迭代行为策略的学习方式，由状态、动作、反馈三个元素构成。图1是根据相关技术的强化学习训练系统的通信过程示意图，如图1所示，强化学习训练系统可以包含“模型训练→动作决策→模型与应用场景通信→场景动作执行→应用场景与模型通信”这样一个不断循环迭代的过程。这五个步骤的执行效率将会直接决定强化学习训练的效率。

以即时类游戏为例，即时类游戏是相对于回合制游戏而言的一类游戏，其主要特点在于：无论游戏玩家或者AI控制的虚拟游戏角色是否进行操作，游戏进度都会向前推进。相关技术中针对即时类游戏进行强化学习训练的方式通常分为以下两种：

方式一、以训练环境作为服务端，以游戏环境(即上述应用场景)作为客户端，在游戏环境每执行固定帧数之后，首先主动向训练环境发送状态信息，其次训练环境向游戏环境返回动作决策，然后游戏环境再依据动作决策执行动作；重复上述流程。

然而，此种方式的明显缺陷在于：采用以游戏环境控制训练进度的方式，首先，从逻辑角度而言存在不合理之处，即任务需要完成强化学习的训练，而控制训练进度的位置并非位于训练环境而是位于游戏环境中；然后，强化学习训练目前的性能瓶颈通常在模型训练而并非游戏执行上，这意味着如果在游戏环境上控制加速通信频率从而加速训练，则训练环境可能会出现训练速度难以匹配通信频率，进而导致整个系统运转失常。

方式二、以游戏环境为服务端，以训练环境为客户端，首先训练环境可以向游戏环境发送“查看当前状态”的请求，其次游戏环境将当前游戏状态返回至训练环境，然后训练环境还可以向游戏环境发送“执行指定动作”的请求，最后游戏环境执行指定动作；重复上述流程，并在此期间游戏持续进行。

然而，此种方式的明显缺陷在于：采用以训练环境控制训练进度的方式，其控制精确性较差。在通信过程中，游戏环境一直保持自主运行；而游戏通常是按照以帧为单位的方式运行，即使训练环境能够准确地定时向游戏环境发送请求，但是游戏的执行间隔可能会受到网络的波动、游戏自身帧率波动等多种不良状况影响进而缺乏稳定性，从而影响训练效果。除此之外，该方式中的强化学习模型为完成样本数据收集需要至少发送两次请求，由此不仅增加系统的操作复杂程度，而且还会减少系统的并发负载量。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明至少部分实施例提供了一种通信交互方法、装置、存储介质、处理器及电子装置，以至少解决相关技术所提供的强化学习训练系统的通信过程较为繁琐，操作复杂度较高的技术问题。

根据本发明其中一实施例，提供了一种通信交互方法，包括：

基于预设通信协议向服务端发送请求消息，其中，请求消息中携带的信息至少包括：待执行的动作信息集合；接收来自于服务端的与请求消息对应的响应消息，其中，响应消息中携带的信息包括：服务端在动作信息集合执行完毕之后采集到的状态信息。

可选地，请求消息中携带的信息还包括：进度指示信息，其中，进度指示信息用于指示服务端将应用场景进度从第一时刻推进至第二时刻，并在第二时刻采集状态信息，第一时刻早于第二时刻。