[发明专利]数据处理方法及系统在审
申请号: | 202110674338.5 | 申请日: | 2021-06-17 |
公开(公告)号: | CN113568735A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 周静辉;刘伟;罗斌;魏溪含 | 申请(专利权)人: | 阿里巴巴新加坡控股有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/08 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 谢湘宁;张文华 |
地址: | 新加坡珊顿道*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 系统 | ||
1.一种数据处理方法,其特征在于,包括:
获取待处理图像以及目标图像处理任务;
根据所述目标图像处理任务确定目标图像处理模型,其中,所述目标图像处理模型是通过训练流程采用目标图像数据集对预设图像处理模型进行训练得到的,所述训练流程是根据所述目标图像处理任务对应的配置信息确定的,所述目标图像数据集包括预设图像数据集以及所述预设图像数据集对应所述目标图像处理任务下的描述信息,所述预设图像处理模型是根据所述目标图像处理任务确定的;
将所述待处理图像输入所述目标图像处理模型,得到对所述待处理图像在所述目标图像处理任务下的处理结果。
2.一种数据处理方法,其特征在于,包括:
获取待处理数据以及目标数据处理任务;
根据所述目标数据处理任务确定目标模型,其中,所述目标模型是通过训练流程采用目标数据集对预设模型进行训练得到的,所述训练流程是根据所述目标数据处理任务对应的配置信息确定的,所述目标数据集包括预设数据集以及所述预设数据集对应所述目标数据处理任务下的描述信息,所述预设模型是根据所述目标数据处理任务确定的;
将所述待处理数据输入所述目标模型,得到对所述待处理数据在所述目标数据处理任务下的处理结果。
3.根据权利要求2所述的数据处理方法,其特征在于,在将所述待处理数据输入所述目标模型,得到所述待处理数据在所述目标数据处理任务下的处理结果之前,所述方法还包括:
对第一数据集进行处理,得到第二数据集,其中,所述第二数据集中包括处理后的数据以及与所述处理后的数据关联的至少一份描述文件,每份所述描述文件中包含一类数据处理任务对应的所述处理后的数据的描述信息;
根据所述第二数据集和数据处理任务的配置数据确定配置文件,其中,所述数据处理任务的配置数据中至少包扩一类所述数据处理任务的多个处理流程对应的配置信息;
从所述配置文件获取所述目标数据集以及所述目标数据处理任务对应的模型训练配置信息,其中,所述目标数据集由所述第二数据集以及所述第二数据集对应所述目标数据处理任务下的描述信息构成;
根据所述模型训练配置信息生成所述预设模型以及训练流程,并通过所述训练流程采用所述目标数据集对所述预设模型进行训练,得到所述目标模型。
4.根据权利要求3所述的数据处理方法,其特征在于,在所述根据所述第二数据集和数据处理任务的配置数据确定配置文件之前,所述方法还包括:对所述第二数据集进行预处理,得到预处理后的数据集;
所述根据所述第二数据集和数据处理任务的配置数据确定配置文件包括:根据所述预处理后的数据集以及所述数据处理任务的配置数据确定所述配置文件。
5.根据权利要求3所述的数据处理方法,其特征在于,在所述根据所述第二数据集和数据处理任务的配置数据确定配置文件之前,所述方法还包括:
从所述配置文件获取数据集分析配置信息;
根据所述数据集分析配置信息确定多个第二算子以及所述多个第二算子之间的连接顺序,并通过所述连接顺序连接所述多个第二算子,得到分析流程;
根据所述分析流程对所述第二数据集进行分析,得到数据集分析结果,其中,所述数据集分析结果用于指示对所述第二数据集的调整。
6.根据权利要求5所述的数据处理方法,其特征在于,在所述根据所述分析流程对所述第二数据集进行分析,得到数据集分析结果之前,所述方法还包括:对所述第二数据集进行预处理,得到预处理后的数据集;
所述根据所述分析流程对所述第二数据集进行分析,得到数据集分析结果包括:根据所述分析流程对所述预处理后的数据集进行分析,得到所述数据集分析结果;
在所述根据所述分析流程对所述第二数据集进行分析,得到数据集分析结果之后,所述方法还包括:对所述分析流程输出的所述数据集分析结果进行展示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴新加坡控股有限公司,未经阿里巴巴新加坡控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110674338.5/1.html,转载请声明来源钻瓜专利网。