[发明专利]数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

向远端数据库所关联的第一服务器发送基于超文本传输协议的网络请求，以使所述第一服务器基于所述网络请求调用所述远端数据库的接口，以获取库表字段信息，返回包含所述库表字段信息的应答信息；

当接收到所述远端数据库响应于所述网络请求而反馈的包含所述库表字段信息的应答信息时，从所述应答信息中提取出所述远端数据库的库表字段信息，根据所述库表字段信息生成本端数据库的数据定义语言语句；

通过所述数据定义语言语句创建或更新所述本端数据库的库表；

通过数据同步工具从所述远端数据库获取待同步的数据；

将从所述远端数据库获取的所述待同步的数据写入所述库表中；

当接收到针对所述本端数据库中创建或更新的所述库表的数据处理请求时，则对所述数据处理请求中的结构化查询语言语句进行语言转换；所述数据处理请求是所述远端数据库之外的计算机设备所发送的；

确定所述数据处理请求中的结构化查询语言语句所调用的函数；

当所述本端数据库存在与所述函数功能匹配的目标函数时，通过所述语言转换后的结构化查询语言语句，对所述本端数据库中创建或更新的所述库表进行数据处理；

当所述本端数据库不存在与所述函数的功能匹配的目标函数时，注册与所述函数匹配的目标函数；

通过语言转换后的结构化查询语言语句调用所述目标函数，以对所述本端数据库中创建或更新的所述库表进行数据处理。

2.根据权利要求1所述的方法，其特征在于，所述从所述应答信息中提取出所述远端数据库的库表字段信息，根据所述库表字段信息生成本端数据库的数据定义语言语句，包括：

解析所述应答信息的json字符串，得到解析结果；

从所述解析结果中提取所述远端数据库的库表字段信息；

基于所述库表字段信息和本端数据库的语法规则，生成本端数据的数据定义语言语句。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向远端数据库发送数据库访问请求，以基于所述数据库访问请求查找所述远端数据库的数据定义语言语句，获得包含所述数据定义语言语句的应答信息；

当接收到所述远端数据库响应于所述数据库访问请求而反馈的所述数据定义语言语句的应答信息时，从所述应答信息中提取出所述远端数据库的数据定义语言语句；对所述数据定义语言语句进行语言转换，得到本端数据库的数据定义语言语句。

4.根据权利要求1所述的方法，其特征在于，所述通过所述数据定义语言语句创建或更新所述本端数据库的库表，包括：

与所述本端数据库关联的第二服务器建立通信连接；

将所述数据定义语言语句注入所述第二服务器中，以在所述第二服务器中运行所述数据定义语言语句，以删除所述本端数据库的库表，和/或在所述本端数据库中创建新的库表。

5.根据权利要求1所述的方法，其特征在于，所述数据同步工具是DataX。

6.根据权利要求1所述的方法，其特征在于，所述对所述数据处理请求中的结构化查询语言语句进行语言转换，包括：

确定所述数据处理请求中结构化查询语言语句的语法信息；

获取与所述语法信息对应的目标语言转换关系；

按照所述目标语言转换关系对所述结构化查询语言语句中的语法关键词进行修改，或在所述结构化查询语言语句的目标位置新增语法关键词。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取与所述远端数据库对应的语法信息；

基于所述远端数据库对应的语法信息与所述本端数据库对应的语法信息之间的语法差异，构建所述远端数据库与所述本端数据库之间的语言转换关系；

所述获取与所述语法信息对应的目标语言转换关系包括：

从所述语言转换关系中获取与所述语法信息对应的目标语言转换关系。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述本端数据库为Hive数据仓库，所述远端数据库为TDW数据库。