[发明专利]一种创建清单数据索引的方法和装置

权利要求书

1.一种创建清单数据索引的方法，其特征在于，包括：

将所述非结构化的清单数据转化成结构化数据，并提取出清单数据实体标识；

对所述清单数据实体标识进行标准化处理，以生成标准化清单数据实体标识；

针对每个标准化清单数据实体标识，创建清单数据实体的索引。

2.根据权利要求1所述的方法，其特征在于，所述对所述清单数据实体标识进行标准化处理包括至少以下中的一种或几种：

移除标点符号；

移除ASCII码；

移除停止词；

转化英语单词的大写和/或小写；

转化中文汉字的繁体和/简体。

3.根据权利要求1所述的方法，其特征在于，针对每个标准化清单数据实体标识，创建清单数据实体的索引，包括：

对每个标准化清单数据实体标识进行去重处理；

针对去重后的标准化清单数据实体标识，创建清单数据实体的索引。

4.根据权利要求1所述的方法，其特征在于，所创建的清单数据实体的索引是一个或多个。

5.根据权利要求1所述的方法，其特征在于，所述清单数据实体标识包括本国语言、非本国语言和别名。

6.根据权利要求1所述的方法，其特征在于，所述本国语言是中文，所述非本国语言是英语。

7.根据权利要求1所述的方法，其特征在于，在针对去重后的标准化清单数据实体标识，创建清单数据实体的索引时，使用Solr引擎来创建清单数据实体的索引。

8.根据权利要求2所述的方法，其特征在于，所述对所述清单数据实体标识进行标准化处理，不包括中文转拼音处理。

9.一种创建清单数据索引的装置，其特征在于，包括：

预处理初始化模块，用于将所述非结构化的清单数据转化成结构化数据，并提取出清单数据实体标识；以及对所述清单数据实体标识进行标准化处理，以生成标准化清单数据实体标识；

索引模块，用于针对每个标准化清单数据实体标识，创建清单数据实体的索引。

10.根据权利要求9所述的装置，其特征在于，在对所述清单数据实体标识进行标准化处理时，所述预处理初始化模块还用于至少以下中的一种或几种：

移除标点符号；

移除ASCII码；

移除停止词；

转化英语单词的大写和/或小写；

转化中文汉字的繁体和/简体。

11.根据权利要求9所述的装置，其特征在于，在针对每个标准化清单数据实体标识，创建清单数据实体的索引时，所述索引模块还用于：

对每个标准化清单数据实体标识进行去重处理；

针对去重后的标准化清单数据实体标识，创建清单数据实体的索引。

12.根据权利要求9所述的装置，其特征在于，所创建的清单数据实体的索引是一个或多个。

13.根据权利要求9所述的装置，其特征在于，所述清单数据实体标识包括本国语言、非本国语言和别名。

14.根据权利要求9所述的装置，其特征在于，所述本国语言是中文，所述非本国语言是英语。

15.根据权利要求9所述的装置，其特征在于，在针对去重后的标准化清单数据实体标识，创建清单数据实体的索引时，所述索引模块使用Solr引擎来创建清单数据实体的索引。

16.根据权利要求10所述的装置，其特征在于，在对所述清单数据实体标识进行标准化处理时，所述预处理初始化模块不用于中文转拼音处理。