[发明专利]基于Websocket的大数据处理方法、装置、电子设备、存储介质

说明书

本发明提供一种基于Websocket的大数据处理方法、装置、电子设备、存储介质，基于Websocket的大数据处理方法包括：根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入方式，以接入所述大数据平台；接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；将所查询数据加密后通过Websocket协议发送至前端浏览器；根据加密后的所查询数据的数据大小进行分块和/或分页处理。本发明提供的基于Websocket的大数据处理方法及装置实现大数据快速查询和展示。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于Websocket的大数 据处理方法、装置、电子设备、存储介质。

背景技术

在传统的数据查询中，如果数据量较小，前端技术人员处理难度较低， 如果数据量较大可以采用分页、延迟加载等技术来实现，但是涉及到大数据 级别的处理时，采用文件下载等方式虽然能够解决一部分问题，但这种方式 无法很快的实时查询数据的情况，尤其是不了解具体数据组成的情况下，所 以大数据量的查询和前端展现是非常有必要的。

随着大数据技术的发展迅猛，从hadoop(一种分布式系统基础架构)到 OLAP(联机分析处理，Online Analytical Processing)在线联机分析产品层出 不穷等，在众多的大数据处理产品平台之间，用户常常无所适从，能不能简 单一些更简单一些，怎么样快速的进行大数据量的查询，能否快速查询、下 载数据变成了用户普遍的心声。

用户需要一种整体的解决方案，一方面适配各种大数据平台，一方面能 够准确、无误的传输数据，能够让用户快速的查询和看到数据。

对于大数据量的查询和展现，一直以来也是前端技术人员比较关注的问 题，大数据量下浏览器的渲染可能会导致渲染缓慢、本地内存超出等异常故 障和各种莫名其妙的问题，如何接收大数据量并且快速的渲染，有很大的挑 战性。

现有技术主要有如下的缺点和问题：

(1)平台多，一般的只是针对某一平台进行适配，无法适配多种平台。

(2)查询和展现慢，Hadoop等数据仓库类查询非常缓慢，OLAP等产 品数据查询比较快，但是获取数据后渲染也需要花费较长时间。

(3)易用性差，很多系统只看重能用，不看重好用，在大数据量查询人 机交互方面做得不够好，无法看到实时的查询进度。

(4)安全性低，通常查询前后台直接采用明文数据传输，容易被监听或 窃取重要业务数据。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种基于Websocket的 大数据处理方法、装置、电子设备、存储介质，以实现大数据快速查询展示。

根据本发明的一个方面，提供一种基于Websocket的大数据处理方法， 包括：

根据所接入的大数据平台，确定自提供的多个接入方式中，确定一接入 方式，以接入所述大数据平台；

接收查询指令，以根据所述查询指令自所接入的大数据平台中查询数据；

将所查询数据加密后通过Websocket协议发送至前端浏览器；

根据加密后的所查询数据的数据大小进行分块和/或分页处理。

可选地，所述将所查询数据加密后通过Websocket协议发送至前端浏览 器还包括：

将所查询数据进行压缩。

可选地，所述根据加密后的所查询数据的数据大小进行分块和/或分页处 理包括：

判断加密后的所查询数据的数据大小是否超过第一预定阈值；