[发明专利]大数据文本快速处理方法

权利要求书

1.一种大数据文本快速处理方法，其特征在于，包括以下步骤：

步骤1、读取数据文件：读取文件里的数据内容；

步骤2、数据切块：将步骤1读取的文件数据，进行分块处理，并将分块处理后的数据块进行标记；

步骤3、线程池处理：将所述数据块放入线程池中并按照预设需求进行数据处理；

步骤4、按块处理数据并保存：将处理完的数据块按照当前数据块的标记进行本地保存；

步骤5、遍历数据块：检测线程池中的数据是否处理完毕，若是，则对本地保存的数据块进行遍历；否则返回步骤3中继续进行处理；

步骤6、按标记的序号进行数据块保存：将遍历到的数据块按照序号顺序进行读取和整合，然后再进行保存。

2.如权利要求1所述的方法，其特征在于，步骤1中，通过指定的文件名，读取文件里的数据内容。

3.如权利要求1或2所述的方法，其特征在于，步骤6中，监测线程池的使用状态，当线程池空闲时，将遍历到的数据块按照序号顺序进行读取和整合，然后再进行保存。