[发明专利]数据访问方法、装置、电子设备、存储介质及程序产品

说明书

本公开实施例公开了一种数据访问方法、装置、电子设备、存储介质及程序产品，所述方法包括：获取数据访问请求；在所述数据访问请求所请求的是外部数据源时，通过调用第一用户自定义接口向外部数据源发送异步数据请求；通过调用第二用户自定义接口从后台存储介质异步获取所述外部数据源返回的请求数据；其中，在所述第一用户自定义接口向所述外部数据源发送异步数据请求后，由后台线程从所述外部数据源接收所述请求数据并将所述请求数据存储至所述后台存储介质。该技术方案能够提高大数据库管理系统中对于外部数据源的数据访问效率，进一步从整体上提高大数据处理系统的数据处理效率。

技术领域

本公开实施例涉及大数据技术领域，具体涉及一种数据访问方法、装置、电子设备、存储介质及程序产品。

背景技术

近年来，随着大数据时代的到来，数据呈现爆炸式增长，信息规模日益庞大,信息数据为企业的决策提供了坚实的信息基础，海量数据的生成对社会带来的冲击与变革是前所未有的，对于企业而言，如何快速高效的从数据中提取有用的价值成为新的挑战。传统数据以结构化数据为主，而现在来源于社交网站、电子商务、物联网的数据基本都是非结构化和半结构化的数据，传统数据用关系型数据库的管理系统可以实现有效的管理与使用，而现在数据因其大量、迅速、复杂、大大超出了传统数据库软件工具的能力范围。因此，大数据处理引擎应运而生。

然而，大数据处理引擎中的数据通常具有一个或多个数据源，这些数据源可以包括同构/异构的(大)数据库、文件系统、服务接口等。在现有技术中，多源数据处理的效率较低、准确性差，且界面不够友好，不方便工作人员进行多源数据的处理。

因此，如何提高大数据系统中多数据源的访问效率是当前需要解决的主要问题之一。

发明内容

本公开实施例提供一种数据访问方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据访问方法，包括：

获取数据访问请求；

在所述数据访问请求所请求的是外部数据源时，通过调用第一用户自定义接口向外部数据源发送异步数据请求；

通过调用第二用户自定义接口从后台存储介质异步获取所述外部数据源返回的请求数据；其中，在所述第一用户自定义接口向所述外部数据源发送异步数据请求后，由后台线程从所述外部数据源接收所述请求数据并将所述请求数据存储至所述后台存储介质。

进一步地，所述方法还包括：

接收用户输入的向外部数据源发送异步数据请求的第一算法；

将所述第一算法注册成所述第一用户自定义接口。

进一步地，所述方法还包括：

接收用户输入的从所述后台存储介质异步获取请求数据的第二算法；

将所述第二算法注册成所述第二用户自定义接口。

进一步地，所述数据访问请求包括SQL语句。

进一步地，在所述数据访问请求所请求的是外部数据源时，通过调用第一用户自定义接口向外部数据源发送异步数据请求，包括：

解析所述SQL语句；

在所述SQL语句中包括对外部数据源的数据请求时，调用所述第一用户自定义接口向所述外部数据源发送异步数据请求。

进一步地，通过调用第二用户自定义接口从后台存储介质异步获取所述外部数据源返回的请求数据，包括：

确定是否已接收到所述外部数据源返回的请求数据；

在已接收到所述外部数据源返回的所述请求数据时，调用所述第二用户自定义接口从所述后台存储介质异步获取所述外部数据源返回的请求数据。