[发明专利]一种人工智能强化学习服务系统

权利要求书

1.一种人工智能强化学习服务系统，其特征在于：包括接口访问层、服务层、功能层、存储层、整理层、模型层和缓冲层；

所述接口访问层是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境；

所述服务层包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境；

所述功能层提供数据业务处理的功能；

所述存储层提供数据存储功能；

所述整理层对用户提供的算法代码进行整理；

所述模型层运行用户提供的算法代码；

所述缓冲层提供用户算法代码运行过程所需的数据缓冲。

2.根据权利要求1所述的一种人工智能强化学习服务系统，其特征在于：所述接口访问层的应用包括用户注册模块、用户登录模块以及用户认证模块。

3.根据权利要求1所述的一种人工智能强化学习服务系统，其特征在于：所述基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。

4.根据权利要求1所述的一种人工智能强化学习服务系统，其特征在于：所述云端开发及调试环境模块包括开发工具和交互工具，所述开发工具包括在线IDE、JupyterNotebook、云主机在线Shell工具；所述交互工具包括Tensorboard、视频播放器和云端模拟器。

5.根据权利要求4所述的一种人工智能强化学习服务系统，其特征在于：所述在线IDE为基于浏览器的集成式开发环境，内置了Python的语言环境，边写代码边调试预览，实时查看效果；用户通过所述在线IDE创建Project的代码程序，进行在线开发、调试操作；

所述JupyterNotebook采用容器化部署，为用户提供交互式的强化学习编程环境；客户端部分负责笔记代码的运行、存储和输出等功能,并通过markdown语法进行标记,以JSON格式发送给容器存储,容器负责存取笔记代码、调用编译内核功能；

所述Tensorboard采用容器化部署，实现展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息的功能；平台提供TensorBoard作为在训练大规模神经网络时将复杂的运算过程可视化的工具，方便用户展示训练过程中绘制的图像、网络结构；

所述视频播放器采用基于OSS服务的视频播放服务器，实现将物理引擎渲染生成的视频的点播服务；平台将算法输出的视频输出至前端集成开发环境中，供研究者分析、验证算法；在线模拟器提供了可视化和交互功能，体现在智能体环境的渲染显示、训练损失函数曲线的展示以及基于web端的实时交互功能。

6.根据权利要求1所述的一种人工智能强化学习服务系统，其特征在于：所述虚拟开发环境接口模块包括工具后台管理接口、虚拟机服务心跳接口和数据同步接口。

7.根据权利要求1所述的一种人工智能强化学习服务系统，其特征在于：所述功能层包括功能模块、数据清理模块和数据整理模块；

功能模块，提供用户交互所需的应用功能；

数据清理模块，用于对用户算法代码运行过程所需的数据进行清理，包括删除冗余数据、填写缺失值、光滑噪声数据；

数据整理模块，用于对用户算法代码运行过程所需的数据的格式进行统一化处理。

8.根据权利要求1所述的一种人工智能强化学习服务系统，其特征在于：所述整理层包括算法整理模块和版本缓冲模块；

算法整理模块，用于对用户提供的算法代码进行规范化整理操作；

版本缓冲模块，提供算法整理模块操作过程中的版本回退功能，并在算法整理模块操作完成后将最后一个版本的用户算法代码发送至服务层。