[发明专利]一种文件处理方法和装置

说明书

技术领域

本发明涉及搜索引擎技术领域，特别是涉及一种文件处理方法和装置。

背景技术

搜索引擎在查找相应的文件时，需要根据用户输入的关键字从索引目录中进行匹配，从而得到最终的检索结果。本申请的发明人在实施本实施例的过程中发现，由于索引序列目录的文件一般较大，层级也较多，且因为内存分配的固有原因，导致内存的碎片化问题较为突出，从而导致搜索响应速度慢，搜索引擎在搜索文件时的搜索效率较低。

发明内容

有鉴于此，本发明提供了一种文件处理方法和装置，以解决搜索引擎搜索文件的效率较低的问题。

为了解决上述问题，本发明公开了一种文件处理方法，包括步骤：

对满足预设条件的第一文件进行分片处理，得到多个第二文件；

将所述第二文件进行反序列化处理，得到第三文件；

将所述第三文件进行扁平化处理，得到第四文件；

将所述第四文件进行合并，得到扁平化的目标文件。

可选的，所述对满足预设条件的第一文件进行分片处理，包括：

遍历所述第一文件；

将所述第一文件中数据量超出预设阈值的数据对象进行分片处理，得到所述第二文件。

可选的，所述将所述第二文件进行反序列化处理，包括：

打开所述第二文件中的字节流进行对象重构，得到所述第三文件。

可选的，所述将所述第三文件进行扁平化处理，包括：

读取所述第三文件的索引层级中的所有数据；

将所述所有数据按预设规律进行排列，得到所述第四文件。

可选的，还包括步骤：

响应于用户的搜索请求，加载所述搜索请求对应的扁平化的目标文件；

基于所述扁平化的目标文件进行匹配所述搜索请求的目标数据。

相应的，为了保证上述方法的实施，本发明还提供了一种文件处理装置，包括：

分片处理模块，用于对满足预设条件的第一文件进行分片处理，得到多个第二文件；

反序列化模块，用于将所述第二文件进行反序列化处理，得到第三文件；

扁平处理模块，用于将所述第三文件进行扁平化处理，得到第四文件；

文件合并模块，用于将所述第四文件进行合并，得到扁平化的目标文件。

可选的，所述分片处理模块包括：

文件查阅单元，用于遍历所述第一文件；

数据分割单元，用于将所述第一文件中数据量超出预设阈值的数据对象进行分片处理，得到所述第二文件。

可选的，所述反序列化模块包括：

文件重构单元，用于打开所述第二文件中的字节流进行对象重构，得到所述第三文件。

可选的，所述扁平处理模块包括：

数据读取单元，用于读取所述第三文件的索引层级中的所有数据；

数据排列单元，用于将所述所有数据按预设规律进行排列，得到所述第四文件。

可选的，还包括：

目标文件加载模块，用于响应于用户的搜索请求，加载所述搜索请求对应的扁平化的目标文件；

目标数据匹配模块，用于基于所述扁平化的目标文件进行匹配所述搜索请求的目标数据。

从上述技术方案可以看出，本发明实施例提供了一种文件处理方法和装置，该方法和装置具体为对满足预设条件的第一文件进行分片处理，得到多个第二文件；将所述第二文件进行反序列化处理，得到第三文件；将所述第三文件进行扁平化处理，得到第四文件；将所述第四文件进行合并，得到扁平化的目标文件。经过上述处理后得到的目标文件是一种扁平化结构的数据，方便搜索引擎直接以数据指针进行查找，而不用分层逐步检索，从而提高了搜索效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种文件处理方法实施例的步骤流程图；

图2为本发明提供的另一种文件处理方法实施例的步骤流程图；

图3为本发明提供的一种文件处理装置实施例的结构框图；

图4为本发明提供的另一种文件处理装置实施例的结构框图。

具体实施方式