[发明专利]基于文化天猫的多源异构数据采集方法、装置和电子设备

说明书

本发明涉及计算机技术领域，具体涉及一种基于文化天猫的多源异构数据采集方法、装置和电子设备，包括：创建不同类型多源异构文化数据源接口，利用所述多源异构文化数据源接口对各多源异构文化数据源进行采集；根据预设多源异构文化数据源清洗规则对采集的所述多源异构文化数据源进行清洗，得到清洗后的多源异构文化数据源；修正清洗后的多源异构文化数据源；根据预设多源异构文化数据采集规则对修正的多源异构文化数据进行关键词提取；基于预设关键词权重算法确定与所述多源异构文化数据源的索引路径相对的唯一关键词。本发明根据采集语法构建数据的采集规则，能够动态采集数据，同时利用预设关键词权重算法确定唯一关键词，保证数据采集的准确性唯一性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于文化天猫的多源异构数据采集方法、装置和电子设备。

背景技术

在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，它们构成了企业的异构数据源。多源数据是构建信息系统不可缺少的部分,主要分成两类,一类是结构化数据,通常以数据表的形式存放于数据库之中，另一类是非结构化数据,比如工厂设备数据、工人工作情况数据。由于各种数据源所使用的采集仪不同，不同的采集仪通讯协议不同，传输速率也不同，特别是在通讯方面存在多语义性，并且各种数据源中所采集的数据格式也通常是不同的。因此针对于各种数据源，需要分别单独采用相应的采集工具进行采集，对于数据采集、管理和分析带来非常的大的不便。

“文化天猫”具有第三方云服务平台的属性，在“文化天猫”平台上，内容生产者、文化内容供给者可发布相关文化产品与文化服务，消费者可通过平台了解到感兴趣的文化产品及服务，现有技术中通过综合数据处理和分析的系统进行数据调取、采集时，因为对接的数据源比较多，数据源的区分辨别技术比较低，采集数据多需要人工辅助，导致数据采集费时费力，而且数据采集的智能化低，数据采集的准确性和全面性较低，因此，如何实现对内容生产者、文化内容供给者发布的相关文化产品与文化服务进行准确快速的数据采集是需要解决的问题。

发明内容

本发明提供了一种基于文化天猫的多源异构数据采集方法、装置和电子设备，用以动态采集数据，使数据采集更加全面、准确，同时保证数据采集的准确性唯一性。

本说明书实施例提供一种基于文化天猫的多源异构数据采集方法，包括：

创建不同类型多源异构文化数据源接口，利用所述多源异构文化数据源接口对各多源异构文化数据源进行采集；

根据预设多源异构文化数据源清洗规则对采集的所述多源异构文化数据源进行清洗，得到清洗后的多源异构文化数据源；

利用双向修正的融合方法修正清洗后的多源异构文化数据源，得到修正多源异构文化数据；

根据预设多源异构文化数据采集规则对所述修正多源异构文化数据进行关键词提取；

基于预设关键词权重算法确定与所述多源异构文化数据源的索引路径相对的唯一关键词。

优选的，在创建不同类型多源异构文化数据源接口之前，包括：

建立关键词表；

获取所述多源异构文化数据源的采集内容，并创建对应的采集语法；

根据所述采集语法，建立多源异构文化数据采集规则；

将所述多源异构文化数据采集规则关联到所述关键词表对应的关键词。

优选的，所述建立关键词表，包括：

获取多源异构文化数据源，确定多源异构文化数据源关键词；