[发明专利]数据处理方法、装置、存储介质及处理器

说明书

本发明公开了一种数据处理方法、装置、存储介质和处理器。其中，该方法包括：获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中。本发明解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质及处理器。

背景技术

目前系统使用到线上的日志数据为json格式的，由于前端的字段变更频繁且字段数量较大，因此之前在导入这些数据到数仓的时候，只会选择部分字段落地，导致后续数仓会频繁增加字段并回刷历史数据。

现在的方法需要手工在表上增加字段和手工配置文件，导致非技术人员无法操作(没有访问HDFS的权限)，技术人员操作麻烦等问题。

针对上述由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法、装置、存储介质及处理器，以至少解决由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：通过可视化页面获取目标数据的字段添加请求，其中，所述字段添加请求至少包括：所述目标数据在目标数据库中的目标字段，所述目标字段的添加路径和所述目标数据在目标数仓中的回刷时段，所述目标数据库用于存储所述目标数据和所述目标数据对应的全部字段，所述目标数仓用于存储所述目标数据，所述目标数仓通过目标表用于记录所述目标数据的至少一个字段，所述添加路径指示将所述目标字段添加至所述目标表中，所述回刷时段用于确定所述目标数据在所述目标数仓中的历史数据；按照所述添加路径将所述目标字段添加至所述目标表中；将所述目标数据的历史数据补充至所述目标表的目标字段中。

可选地，通过可视化页面获取目标数据的字段添加请求包括：通过所述可视化页面中的文件路径组件，确定所述目标数据在所述目标数据库的存储路径；通过所述可视化页面中的数仓路径组件，确定所述目标数据在所述目标数仓对应的目标数仓，和所述目标数据的字段对应的所述目标表；通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，并将所述目标字段添加至所述目标表中；通过所述可视化页面中的第一回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。

可选地，通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，还包括：通过所述可视化页面中的新增字段组件，获取所述目标数据的事件号，其中，所述目标数据库还用于存储所述目标数据对应的事件号；基于所述事件号验证所述目标数据库中是否包括所述目标数据的目标字段。

可选地，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所述方法还包括：通过所述可视化页面中的搜索组件，获取所述目标表的查询请求；基于所述查询请求显示所述目标表的表信息，其中，所述表信息至少包括：所述目标数据的平台任务编号、所述目标数据对应的所述目标数仓名、所述目标数据对应的目标表名、添加所述目标字段的申请时间、所述回刷时段。

可选地，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所述方法还包括：通过所述可视化页面中的变量所在库组件，确定所述目标数据对应的目标数仓；通过所述可视化页面中的变量所在表组件，确定所述目标数据对应的目标表；通过所述可视化页面中的第二回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。