[发明专利]一种创建清单数据索引的方法和装置

说明书

本发明公开了创建清单数据索引的方法和装置，涉及计算机搜索技术领域。该方法的具体实施方式包括：将所述非结构化的清单数据转化成结构化数据，并提取出清单数据实体标识；对所述清单数据实体标识进行标准化处理，以生成标准化清单数据实体标识；针对每个标准化清单数据实体标识，创建清单数据实体的索引。该实施方式降低了清单数据索引量和创建索引时间，提高了索引效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种创建清单数据索引的方法和装置。

背景技术

一般来说，索引用于系统地排列文档或其他实体。索引使用户能够在文档中快速地查找信息。索引集合用于解析和存储文档。索引是为了在查找所需文档时提高搜索查询的速度和性能。搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

目前，现在主流的搜索引擎主要包括：Lucene，Solr，ElasticSearch；它们的索引建立都是根据倒排索引的方式生成索引。

发明内容

有鉴于此，本发明实施例提供一种创建清单数据索引的方法和装置，能够通过对清单数据中文繁体、简体、英文大小写进行规格化处理可以有效减少索引，实现统一化管理。通过对清单实体标识去重后建索引，可以有效减少索引量，同时提升匹配效率。对清单原有中文数据不进行拼音转化，减少过多的多音字处理，不仅可以大量减少索引，同时避免清单筛查匹配中文转拼音多次匹配计算过程，提升效率。本发明的方案，综合考虑待筛查数据和清单数据特性，能够有效减少清单索引量，节省索引创建时间，提升索引效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种创建清单数据索引的方法。

根据本发明实施例的一个方面的创建清单数据索引的方法，包括：

将所述非结构化的清单数据转化成结构化数据，并提取出清单数据实体标识；

对所述清单数据实体标识进行标准化处理，以生成标准化清单数据实体标识；

针对每个标准化清单数据实体标识，创建清单数据实体的索引。

根据本发明实施例的一个方面的创建清单数据索引的方法，其中，所述对所述清单数据实体标识进行标准化处理包括至少以下中的一种或几种：

移除标点符号；

移除ASCII码；

移除停止词；

转化英语单词的大写和/或小写；

转化中文汉字的繁体和/简体。

根据本发明实施例的一个方面的创建清单数据索引的方法，其中，针对每个标准化清单数据实体标识，创建清单数据实体的索引，包括：

对每个标准化清单数据实体标识进行去重处理；

针对去重后的标准化清单数据实体标识，创建清单数据实体的索引。

根据本发明实施例的一个方面的创建清单数据索引的方法，其中，所创建的清单数据实体的索引是一个或多个。

根据本发明实施例的一个方面的创建清单数据索引的方法，其中，所述清单数据实体标识包括本国语言、非本国语言和别名。

根据本发明实施例的一个方面的创建清单数据索引的方法，其中，所述本国语言是中文，所述非本国语言是英语。