[发明专利]一种全文检索的索引处理方法、索引处理系统及存储介质

说明书

本发明提出了一种全文检索的索引处理方法、索引处理系统及存储介质。其中，全文检索的索引处理方法包括：接收索引请求，解析索引请求获取索引数据和索引数据对应的索引操作的信息；将索引数据和索引操作的信息写入事务日志，并执行索引请求；在索引请求出现执行异常的情况下，从事务日志中获取索引数据和索引操作的信息，并重新执行索引请求。采用本发明的技术方案，利用事务日志记录索引数据和索引操作，当检索节点异常宕机重启后，通过读取事务日志文件，解析出未生效的索引操作和索引数据并重新执行，保证了索引数据的正确性、完整性及一致性，同时也避免了数据冗余，降低了程序的复杂度，提高了系统的灵活性。

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种全文检索的索引处理方法、索引处理系统及存储介质。

背景技术

二十一世纪是个信息爆炸的时代，每个实体都在不停地、高速地产生需要存储的数据信息，在待存储的海量数据中，85％是非结构化的。全文检索是一种能够从海量非结构化数据中快速搜索到有用信息的技术，从最初的字符串匹配和简单的布尔逻辑检索技术演进到对超大文本、语音、图像、视频等非结构化数据进行综合管理的复合技术。

目前全文检索的功能已经相当完善，索引文件作为全文检索的最重要的数据单元，索引容错已经成为了越来越多的公司和机构的研究热点。最常用的容错方案是分布式存储分案，其基本原理是将同一份索引数据分布式冗余存储，当任意节点出现故障时，利用其它节点的索引数据进行恢复。该方法可以有效恢复索引错误，但是存在以下弊端：(1)索引数据分布式冗余存储势必增大资源消耗；(2)需要解决索引一致性问题；(3)不支持单节点。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个方面在于提出了一种全文检索的索引处理方法。

本发明的另一个方面在于提出了一种全文检索的索引处理系统。

本发明的再一个方面在于提出了一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种全文检索的索引处理方法，包括：接收索引请求，解析索引请求获取索引数据和索引数据对应的索引操作的信息；将索引数据和索引操作的信息写入事务日志，并执行索引请求；在索引请求出现执行异常的情况下，从事务日志中获取索引数据和索引操作的信息，并重新执行索引请求。

本发明提供的全文检索的索引处理方法，将索引请求中的索引数据和索引操作的信息按照指定格式写入事务日志，然后处理该索引请求。进一步地，当索引请求出现执行异常的情况下，从事务日志中获取索引数据和索引操作的信息，并重新执行索引请求。采用本发明的技术方案，利用事务日志记录索引数据和索引操作，当检索节点异常宕机重启后，通过读取事务日志文件，解析出未生效的索引操作和索引数据并重新执行，保证了索引数据的正确性、完整性及一致性，同时也避免了数据冗余，降低了程序的复杂度，提高了系统的灵活性。

根据本发明的上述全文检索的索引处理方法，还可以具有以下技术特征：

在上述技术方案中，优选地，还包括：将事务日志存储至磁盘，并将已存储至磁盘的事务日志删除。

在该技术方案中，将事务日志实时刷新到磁盘，确保事务日志能够有效地记录索引操作和索引数据，在运行过程中对事务日志按一定策略淘汰，降低了索引恢复的事务日志处理量。

在上述任一技术方案中，优选地，在索引请求出现执行异常的情况下，从事务日志中获取索引数据和索引操作的信息，并重新执行索引请求，具体包括：在索引请求出现执行异常的情况下，记录未生效的索引数据和未生效的索引数据对应的未生效的索引操作的信息；在磁盘中读取事务日志，解析事务日志获取未生效的索引数据和未生效的索引操作的信息，并对未生效的索引数据和未生效的索引操作的信息进行恢复；执行恢复后的索引操作和恢复后的索引数据对应的索引请求。