[发明专利]数据处理方法及装置

说明书

本申请提供了数据处理方法及装置，其中，方法包括：加载包括文本文件和二进制文件的本地文件和网络文件；调用子线程对文本文件和二进制文件分别进行切片；调用子线程将切片后的文本文件和二进制文件进行存储；通过预设脚本对切片后的文本文件中的目标文本文件进行预设分析处理；通过字节码对切片后的二进制文件中的目标二进制文件进行预设分析处理；在与子线程间的待传输数据的数据量小于预设第一阈值的情况下，与子线程之间传输待传输数据的拷贝数据。本申请在浏览器端采用多线程的前提下，采用脚本与字节码相结合的方式，以及对于小数据量数据，主线程与子线程间传输待传输数据的拷贝数据，从而，本申请可以提高数据处理效率。

技术领域

本申请涉及数据处理领域，尤其涉及数据处理方法及装置。

背景技术

目前，对于大型数据的跨端处理，往往采用浏览器提供交互+服务器数据处理，但随着计算机的发展，终端(例如，浏览器)上的处理性能不断提高，数据处理前移——充分利用终端上的计算资源处理大型数据，减低服务器投入成为可能。其中，浏览器进行大型数据处理的流程可以包括：加载、预处理切片、存储、分析处理、重新拼装和导出，主要面向的业务是数据转换。例如，文件加解密、日志统计、音视频处理等。

目前，在浏览器上进行大型数据处理的方案包括：采用多线程(Web Workers)将任务划分为多线程并行处理，能有效利用多核CPU的计算能力。

虽然采用多线程在一定程度上可以提高浏览器端进行大型数据处理的效率，但是，浏览器端进行大型数据处理的效率还是较低。

发明内容

本申请提供了数据处理方法及装置，目的在于解决浏览器端进行数据处理的效率低的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种数据处理方法，应用于浏览器端的主线程，所述方法包括：

加载本地文件和网络文件；所述本地文件和所述网络文件都包括文本文件和二进制文件；

调用子线程对所述文本文件和所述二进制文件分别进行切片；

调用子线程将切片后的文本文件和切片后的二进制文件进行存储；

调用子线程，所述子线程通过预设脚本对所述切片后的文本文件中的目标文本文件进行预设分析处理；通过字节码对所述切片后的二进制文件中的目标二进制文件进行预设分析处理；

在与子线程间的待传输数据的数据量小于预设第一阈值的情况下，与所述子线程之间传输所述待传输数据的拷贝数据。

可选的，存储的每个切片后的数据可配置锁状态；所述锁状态包括：用于读的共享锁，和/或，用于写的排他锁。

可选的，在所述加载本地文件和网络文件之后，且，在所述调用子线程对所述文本文件和所述二进制文件分别进行切片之前，还包括：

至少将所述本地文件和所述网络文件中数据量大于预设第二阈值的文件转化为可转让对象；

所述调用子线程对所述文本文件和所述二进制文件分别进行切片，具体为：

调用子线程对属性为可转让对象或非可转让对象的文本文件和二进制文件分别进行切片；

所述调用子线程将切片后的文本文件和切片后的二进制文件进行存储，具体为：

调用子线程将属性为可转让对象的切片后的文件的存储地址、属性为非可转让对象的切片后的文件，存储在预设的数据库，以及将属性为可转让对象的切片后的文件存储在预设存储空间。

可选的，在所述调用子线程将属性为可转让对象的切片后的文件的存储地址、属性为非可转让对象的切片后的文件，存储在预设的数据库，以及将属性为可转让对象的切片后的文件存储在预设存储空间之后，还包括：