[发明专利]基于文化天猫的多源异构数据采集方法、装置和电子设备

权利要求书

1.基于文化天猫的多源异构数据采集方法，其特征在于，包括：

创建不同类型多源异构文化数据源接口，利用所述多源异构文化数据源接口对各多源异构文化数据源进行采集；

根据预设多源异构文化数据源清洗规则对采集的所述多源异构文化数据源进行清洗，得到清洗后的多源异构文化数据源；

利用双向修正的融合方法修正清洗后的多源异构文化数据源，得到修正多源异构文化数据；

根据预设多源异构文化数据采集规则对所述修正多源异构文化数据进行关键词提取；

基于预设关键词权重算法确定与所述多源异构文化数据源的索引路径相对的唯一关键词。

2.如权利要求1所述的基于文化天猫的多源异构数据采集方法，其特征在于，在创建不同类型多源异构文化数据源接口之前，包括：

建立关键词表；

获取所述多源异构文化数据源的采集内容，并创建对应的采集语法；

根据所述采集语法，建立多源异构文化数据采集规则；

将所述多源异构文化数据采集规则关联到所述关键词表对应的关键词。

3.如权利要求1所述的基于文化天猫的多源异构数据采集方法，其特征在于，所述建立关键词表，包括：

获取多源异构文化数据源，确定多源异构文化数据源关键词；

获取所述多源异构文化数据源中数据内容的类型特征，确定类型特征关键词；

根据所述多源异构文化数据源关键词和所述类型特征关键词，确定所述多源异构文化数据源关键词和所述类型特征关键词的邻近词，并将所述邻近词作为补充词；

根据所述多源异构文化数据源关键词、所述类型特征关键词和所述补充词建立三维异构的关键词表。

4.如权利要求2所述的基于文化天猫的多源异构数据采集方法，其特征在于，所述获取多源异构文化数据源的采集内容，并创建对应的采集语法，包括：

基于所述多源异构文化数据源的采集需求，确定抽象语法树；

通过所述抽象语法树获取所述多源异构文化数据源采集内容，基于自定义的反射规则，构建采集语法的逻辑执行规则；

基于所述多源异构文化数据源采集内容的内容序列和内容形式，构建采集语法的语法结构；

根据所述逻辑执行规则和语法结构，确定所述采集语法。

5.如权利要求2所述的基于文化天猫的多源异构数据采集方法，其特征在于，所述根据所述采集语法，建立数据采集规则，包括：

获取多源异构文化数据的采集请求，基于所述采集请求，调用所述采集语法；

基于所述采集语法确定多源异构文化数据的统一数据导入接口；

通过基于规则融合技术，融合数据采集规则，并将融合数据采集规则配置到所述统一数据导入接口，构建统一数据导入接口的多源异构文化数据采集规则。

6.如权利要求2所述的基于文化天猫的多源异构数据采集方法，其特征在于，所述将所述多源异构文化数据采集规则关联到所述关键词表对应的关键词上，包括：

确定所述多源异构文化数据采集规则的规则特征；

根据所述规则特征，在所述关键词表中确定与所述规则特征相对应的关键词特征；

根据所述关键词特征确定所述关键词的，并对所述关键词进行地址标记；根据所述地址标记，确定所述关键词的地址信息；

根据所述地址信息将所述数据采集规则配置到所述关键词表的关键词上。

7.如权利要求1所述的基于文化天猫的多源异构数据采集方法，其特征在于，所述基于预设关键词权重算法确定与所述多源异构文化数据源的索引路径相对的唯一关键词，包括：

当同一索引路径存在多个关键词时，利用预设关键词权重算法计算多个关键词与相应的索引路径之间的权重占比；

选择权重占比最大的关键词为唯一关键词，删除其它关键词。