[发明专利]一种人工智能强化学习服务系统

说明书

本发明公开了一种人工智能强化学习服务系统，具体涉及强化学习开发平台领域，包括接口访问层、服务层、功能层、存储层、整理层、模型层和缓冲层；所述接口访问层是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境；所述服务层包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境。本发明提供数据的可视化图像，能够边写代码边调试预览，实时查看效果，供研究者分析、验证算法。

技术领域

本发明涉及强化学习开发技术领域，更具体地说，本发明涉及一种人工智能强化学习服务系统。

背景技术

机器学习是以研究模拟人类学习行为，在获取知识后经过学习产生新的知识为研究目标，是人工智能的核心问题之一。基于数据的机器学习是现代智能技术中的重要方法之一，研究从观测数据(样本)出发寻找规律获取知识，利用这些规律与知识，通过一定的学习模式对未来数据或无法观测的数据进行预测。机器学习根据学习模式可以分类为监督学习、无监督学习和强化学习等。强化学习的目标是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。

目前，由于服务器端缺少可视化的开发工具，无法实时观测到强化学习智能体环境模拟，难以快速开发和验证代码。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种人工智能强化学习服务系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种人工智能强化学习服务系统，包括接口访问层、服务层、功能层、存储层、整理层、模型层和缓冲层；

所述接口访问层是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境；

所述服务层包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境；

所述功能层提供数据业务处理的功能；

所述存储层提供数据存储功能；

所述整理层对用户提供的算法代码进行整理；

所述模型层运行用户提供的算法代码；

所述缓冲层提供用户算法代码运行过程所需的数据缓冲。

进一步的，所述接口访问层的应用包括用户注册模块、用户登录模块以及用户认证模块。

进一步的，所述基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。

进一步的，所述云端开发及调试环境模块包括开发工具和交互工具，所述开发工具包括在线IDE、JupyterNotebook、云主机在线Shell工具；所述交互工具包括Tensorboard、视频播放器和云端模拟器。

进一步的，所述在线IDE为基于浏览器的集成式开发环境，内置了Python的语言环境，边写代码边调试预览，实时查看效果；用户通过所述在线IDE创建Project的代码程序，进行在线开发、调试操作；

所述JupyterNotebook采用容器化部署，为用户提供交互式的强化学习编程环境；客户端部分负责笔记代码的运行、存储和输出等功能,并通过markdown语法进行标记,以JSON格式发送给容器存储,容器负责存取笔记代码、调用编译内核功能；