[发明专利]基于关键词的脚本性能校验方法、装置、设备及存储介质

权利要求书

1.一种基于关键词的脚本性能校验方法，其特征在于，包括：

获取需要校验的脚本文件；

对所述脚本文件进行脚本关键词解析，以获取所述脚本文件中的脚本关键词；

根据所述脚本关键词确定所述脚本文件所用到的所有关联数据表，并确定所有所述关联数据表中各表之间的关联条件；

根据所述关联条件对应确定所有所述关联数据表中各数据表之间的关联方式；

根据所述关联数据表和关联方式确定所述脚本文件所用到的数据信息；

根据所述数据信息确定执行所述脚本文件时所需读取的目标数据的数据量；

输出包括所述数据量的脚本文件校验结果。

2.如权利要求1所述的脚本性能校验方法，其特征在于，所述根据所述关联条件对应确定所有所述关联数据表中各表之间的关联方式之后，所述方法还包括：

根据所述关联方式确定执行所述脚本文件时的数据状态，所述数据状态包括数据倾斜状态和/或数据发散状态；

所述输出包括所述数据量的脚本文件校验结果，包括：

输出包括所述数据量和所述数据状态的脚本文件校验结果。

3.如权利要求2所述的脚本性能校验方法，其特征在于，所述数据发散状态通过如下方式确定：

根据所述关联方式确定所有所述关联数据表中的数据表是否存在笛卡尔积关系；

若确定所有所述关联数据表中各的数据表存在笛卡尔积关系，则确定执行所述脚本文件时存在数据发散；

若确定所有所述关联数据表中各的数据表不存在笛卡尔积关系，则确定执行所述脚本文件时不存在数据发散。

4.如权利要求2所述的脚本性能校验方法，其特征在于，所述数据倾斜状态通过如下方式确定：

根据所述关联方式确定执行所述脚本文件时，所述关联数据表中的数据任务处理量的分配是否存在不均现象，其中，所述不均现象包括以第一数据处理任务的任务量为第二数据处理任务的任务量的预设整数倍数；

若确定所述关联数据表中的数据任务处理量的分配存在不均现象，则确定执行所述脚本文件时存在数据倾斜；

若确定所述关联数据表中的数据任务处理量的分配未不存在不均现象，则确定执行所述脚本文件时不存在数据倾斜。

5.如权利要求1-4任一项所述的脚本性能校验方法，其特征在于，所述根据脚本关键词确定脚本文件所用到的所有关联数据表之后，所述方法还包括：

从脚本执行日志库中获取历史脚本执行日记信息；

根据所述历史脚本执行日记信息确定其他脚本文件执行时调用所述关联数据表的时长；

统计所有所述关联数据表中，每个所述关联数据表被调用的时长，以获取总时长；

将所述总时长确定执行所述脚本文件的执行时长；

所述输出包括所述数据量和所述数据状态的脚本文件校验结果，包括：

输出包括所述数据量、所述数据状态和所述执行时长的脚本文件校验结果。

6.如权利要求1-4任一项所述的脚本性能校验方法，其特征在于，所述对所述脚本文件进行脚本关键词解析，以获取所述脚本文件中的脚本关键词，包括：

接收用户的编程语言类型指示信息，所述编程语言类型指示信息用于指示所述脚本文件采用的编程语言类型；

根据所述编程语言类型指示信息获取所述编程语言对应的关键词信息；

根据关键词信息对所述脚本文件进行脚本关键词解析，以获取所述脚本文件中的脚本关键词。