[发明专利]任务生成方法、系统和存储介质

说明书

本发明提供了一种任务生成方法、系统和存储介质，该方法包括：数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中；所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务。本发明不再需要用户关注BI数据的同步任务及手动触发响应式查询任务的构建，节省了人力，并提高了任务生成的效率，降低了任务生成的成本。

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种任务生成方法、系统 和存储介质。

背景技术

视频统计功能中的自由维度数据是通过查询麒麟(kylin)任务得到的， 而麒麟任务的数据来源于hive表，其统计指标包括播放量、推荐量、评论量、 涨粉量等，而这些数据都是来源于BI(Business Intelligence，商业智能)团 队，首先需要同步BI数据到hive表，然后再根据这些hive表构建麒麟任务。

现有技术中，同步BI数据的操作和构建麒麟任务的操作是隔离的，当 同步完BI数据后，麒麟任务并不知道已经完成BI数据同步，这样就需要由 用户时刻关注同步BI数据的任务，并手动触发麒麟任务的构建，极其浪费 人力，而且由于由人工关注同步任务，有可能导致在同步任务完成后不能及 时关注到的问题，从而不能及时构建麒麟任务，降低了任务生成的效率。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至 少部分地解决上述问题的一种任务生成方法、系统和存储介质。

依据本发明的第一方面，提供了一种任务生成方法，包括：

数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预 设指标数据同步到数据仓库工具hive表中；

所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记 文件，并将所述标记文件保存到预设存储设备；

任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生 成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的 响应式查询任务。

可选的，所述数据同步设备获取BI数据库中的预设指标数据，并将所 述预设指标数据同步到数据仓库工具hive表中，包括：

所述数据同步设备在所述BI数据库中预设时间的预设指标数据计算完 成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指标数据， 并将所述预设指标数据同步到所述hive表中；

所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记 文件，并将所述标记文件保存到预设存储设备，包括：

所述数据同步设备在每一时段的预设指标数据同步完成后，生成该时段 预设指标数据对应的标记文件，并将该标记文件保存到预设存储设备。

可选的，所述任务生成设备对所述预设存储设备进行监控，当监控到所 述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指 标数据对应的响应式查询任务，包括：

所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的 连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生 成与所述连续时段的预设指标数据对应的响应式查询任务。

可选的，所述任务生成设备调用任务生成接口，根据所述hive表生成与 所述连续时段的预设指标数据对应的响应式查询任务，包括：