[发明专利]一种基于hadoop的通用创建索引方法及系统

摘要

本发明提供了一种基于hadoop的创建索引的方法，包括业务端服务将待索引数据载入HDFS文件系统，根据对所述数据和索引方式的配置，在该系统中分布式创建索引，具体包括以下步骤：检索和存储数据；配置和数据路径指定；导入配置索引配置文件和数据解析格式；分布式读取数据和写入索引；合并索引。本发明改进了创建索引过程中读取数据和创建索引的速度，并且不需要单独部署服务和单独开发索引。

主权项

一种基于hadoop的创建索引的方法，其特征在于，业务端服务将待索引数据载入HDFS文件系统，根据对所述数据和索引方式的配置，在该系统中分布式创建索引；该方法包括以下步骤：步骤一、检索和存储数据；业务端服务通过hadoop定期从业务数据中组织检索服务需要的数据；将检索到的数据信息汇总整理成单条数据，并以通用的JSON格式，存储到hadoop文件系统中的预定义存储目录；在所述存储目录中，将所有数据按照特定逻辑分割成多个块，然后存储到所述存储目录下的子目录中，以支持后续的索引创建服务的多任务执行；步骤二、配置和数据路径指定；所述配置和数据路径指定包括在通用索引系统中配置数据信息，以及数据中的信息索引方式；所述在通用索引系统中配置数据信息，以及数据中的信息索引方式包括，配置导入数据的索引方式，具体包括：根据单行数据中的每列的检索属性，在schema文件中配置对应的属性域信息，包括配置描述数据信息写索引时的约束；完成文件系统数据到索引数据之间的转换，将完成的上述配置上传到hadoop文件系统中，用于建立索引；所述在通用索引系统中配置数据信息，以及数据中的信息索引方式还包括，配置schema文件路径和泛解析JSON的java类路径，以使系统自动解析JSON，并获取数据的存储目录和数据到索引的解析文件；步骤三、导入配置索引配置文件和数据解析格式；步骤四、分布式读取数据和写入索引；所述分布式读取数据和写入索引包括：通过hadoop创建多个并发子任务，每个子任务根据上述数据信息和索引方式的配置，到指定目录读取数据；读取数据后，根据上述数据信息和索引方式的配置，将JSON中的数据转换为JAVA对象，从而将文件系统中一条完整的数据信息装载到一个JAVA对象中，对象中的每个属性对应于数据中的每个域的信息；根据上述对schema文件配置，利用配置文件中配置每行信息中的属性域的属性，到JAVA中取对应的属性的信息；根据每行信息配置的属性信息创建该项数据的域信息，并写入索引文件；将索引过程的小块索引文件写入配置文件中数据目录下的相应目录；步骤五、合并索引。