[发明专利]一种数据自动分析与建模流程

权利要求书

1.一种数据自动分析与建模流程，其特征在于，该流程包括以下步骤：

S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；

S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。

2.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述数据管理实现数据集上传、数据集属性管理、数据集追加和目标列自主选择功能，包括以下步骤：

S111、在数据加载中，引入数据转换层；

S112、通过数据转换层使用策略模式，向前对接不同类型的数据源，向后使用数据类型推断、表头字段推理技术将不同来源的数据格式化，并输出CSV格式文件提供给数据入库模块使用。

3.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述数据透视实现数据分布分析、分析结果图表绘制、数据预处理、特征关联分析及工具集功能，包括以下步骤：

S121、将数据在网页上渲染展示，并根据用户的需求自由组合特征例和目标例进行建模；

S122、根据选择的数据调用非监督学习或监督学习算法对数据进行分析，并以图表的方式展示分析结果。

4.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述特征选择实现重要特征筛选、缺失值补全及异常值检测功能。

5.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述模型搜索实现超参数搜索引擎、元学习引擎、神经网络架构搜索、模型库构建及算法搜索空间定义功能，包括以下步骤：

S141、通过遗传算法为不同模型选定超参数，并在数据及上进行试训练；

S142、根据评估结果推荐前十个最好的数据预处理和预测模型；

S143、根据推荐结果，结合使用场景及应用行业自定义算法搜索空间。

6.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述报告生成实现特征分析报告、模型训练报告和模型源代码的生成，包括以下步骤：

S151、通过解析模型代码结构之间的依赖关系，生成模型依赖及组合流程图；

S152、根据模型训练结果和搜索到的最优超参数，生成模型代码，将搜索到的排名前十个模型的源代码打包并生成下载链接；

S153、从模型代码中自动推断模型依赖的包并生成脚本，通过运行脚本自动安装配置模型运行所依赖的环境。

7.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述模型预测包括以下步骤：

S161、通过守护进程动态加载生成的模型文件，并通过远程过程调用的方式对外提供服务；

S162、根据输入的预测数据，服务可返回预测结果、评价指标以及预测曲线或混淆矩阵。

8.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述模型迭代包括以下步骤：

S171、通过版本控制对每次训练输出的模型进行版本管理，并对同一模型不同参数情况下的性能进行对比。

9.根据权利要求1所述的一种数据自动分析与建模流程，其特征在于，所述数据追加包括以下步骤：

S181、当模型预测结果未达到预期时，进行数据追加、模型调整、模型检索范围扩展及训练特征增减。

10.根据权利要求3所述的一种数据自动分析与建模流程，其特征在于，所述非监督学习算法包括但不限于聚类与主成分分析；所述监督学习算法包括但不限于广义线性回归、支持向量机及岭回归。