[发明专利]一种基于大数据的交互式和自定义数据建模系统

说明书

本发明公开了一种基于大数据的交互式和自定义数据建模系统，所述系统包括客户端、服务端、计算端；其中，所述客户端和服务端均能够部署在任意的服务器，所述计算端部署在分布式计算环境；客户端提供用于建模的各种算子，所述算子预先固化在系统中，用户通过自定义算子的组合方式构建基于业务的建模流程；服务端用于解析建模流程并将建模流程提交至计算端计算；客户端为用户提供免编码、可视化和交互式的自定义建模方式，有效促进大数据机器学习在行业快速落地应用，极大程度降低了机器学习的使用门槛，扩大了机器学习的应用范围。

技术领域

本发明涉及数据挖掘建模领域，具体地，涉及一种基于大数据的交互式和自定义数据建模系统。

背景技术

随着信息化建设的不断深入，政府和企业积累了海量数据。由于缺乏数据挖掘分析能力和团队，通过数据分析挖掘发现数据价值仍然是政府和企业对难点所在。鉴于开源技术快速增加和高速迭代，一般企业很难跟进，现有大数据技术创新应用仍由互联网企业主导。目前国内大数据仍处于概念落地阶段，现有产品在落地应用过程中存在安装配置复杂、算法难以理解和应用、模型部署困难等诸多问题。因此基于行业的大数据的机器学习应用如何快速落地，降低机器学习的使用门槛，扩大机器学习应用范围是当前亟待解决的问题。

发明内容

本发明设计了一种新颖的机器学习建模系统——一种基于大数据的交互式和自定义数据建模系统，包括客户端、服务端和计算端。该系统在客户端为用户固化了丰富的建模算子，用户可以在客户端以托拉拽的方式自由组建机器学习建模流程，这使得有丰富经验的业务人员能够免编码建模，大大降低了机器学习的入门门槛。

为实现上述发明目的，本申请提供了一种基于大数据的交互式和自定义数据建模系统，所述系统包括：客户端、服务端、计算端；其中，所述客户端和服务端均能够部署在任意的服务器，所述计算端部署在分布式计算环境；客户端提供用于建模的各种算子，所述算子预先固化在系统中，用户通过自定义算子的组合方式构建基于业务的建模流程；服务端用于解析建模流程，并将建模流程提交至计算端计算。

本发明提出的一种基于大数据的交互式和自定义数据建模系统，可以降低政府和企业基础设施和人力的投入，快速准确地挖掘大数据背后的商业价值，帮助政府和企业提升数据价值发现的效率。

优选的，所述客户端还提供管理和扩展建模流程的功能；服务端还用于监控工作流计算任务在计算端的状态并传递到客户端。

优选的，所述客户端用于与用户交互，包括：自定义建模流程、管理建模流程、建模交互和扩展建模组件。

优选的，自定义建模流程包括：用户根据业务需求组合自定义算子，通过自定义工作流展示业务建模流程，训练业务模型。

优选的，管理建模流程包括：客户端统一管理用户构建的业务工作流；通过客户端能够共享、共同构建和共同管理不同用户构建的业务工作流，通过客户端用户能够增加、删除、修改、查看自建和共同构建的业务工作流。

优选的，建模交互包括：客户端为用户提供建模交互功能，用户通过客户端进行自定义建模和管理建模流程；客户端向用户传递建模流程的状态、模型训练进度。

优选的，扩展建模组件包括：用户利用客户端提供的扩展接口添加个性化、自定义的建模算子。

优选的，所述服务端用于解析建模流程和监控计算端状态，包括：解析建模流程、监控流程状态、提交任务和收集日志。

优选的，解析建模流程包括：服务端将用户已构建好的业务工作流解析成计算端能够计算的任务；

监控流程状态包括：服务端实时监控工作流计算任务在计算端的状态及进度并实时传递到客户端；

提交任务包括：服务端根据建模流程解析结果组装任务并提交到计算端计算；

收集日志包括：服务端收集计算端的日志并传递到客户端。