[发明专利]一种快速数据源接入方法

说明书

本发明公开了一种快速数据源接入方法，涉及数据接入技术领域，包括，在源端数据库中，根据数据属性划分数据表类型，将所需接入的数据表导出为预设格式文件；将预设格式文件的存量数据导入到中转数据库中，并将中转数据库中的数据导入目标数据库；将源端数据库中的增量数据按照预设同步速率同步复制到缓存数据库中，且添加增删改标识和时间戳字段，再将缓存数据库中的增量数据解析转换后按照预设接入频率接入目标数据库；在源端数据库向缓存数据库同步数据时，根据同步信息实时更新同步速率，在缓存数据库向目标数据库解析接入时，根据解析接入信息实时更新接入频率。实时更新同步速率和接入频率，提高了数据接入速度，保证了数据的安全稳定性。

技术领域

本申请涉及数据接入技术领域，更具体地，涉及一种快速数据源接入方法。

背景技术

现有企业的业务结构化数据包括：工单类数据、档案类数据、运营管理类数据、话务类数据、营销类数据、常识类数据等。数据规模之海量在国内外现有数据中心中尚数首例，对这些数据的整合极具挑战和开创性。将数据从源系统接入和存储到数据仓库的过程中，必须要保证数据的正确性和完整性，同时还需要保障数据进入到新的环境中后能够满足所有业务的使用需求。此外从优化存储的角度应当具备除了冗余备份的需求以外，数据不应该存在重复存储。

现有技术中，因为数据种类较多且数量繁多，数据接入情况较为复杂，数据库采用固定的传输信息不能满足多方面需求，导致接入速度较慢。

因此，如何提高数据接入速度，是目前有待解决的技术问题。

发明内容

本发明提供一种快速数据源接入方法，用以解决现有技术中接入数据速度较慢的技术问题。该方法应用于包括源端数据库、中转数据库、缓存数据库和目标数据库的系统中，所述方法包括：

在源端数据库中，根据数据属性划分数据表类型，将所需接入的数据表导出为预设格式文件，同时记录存量数据范围并区分存量数据和增量数据；

将预设格式文件的存量数据导入到中转数据库中，并将中转数据库中的数据导入目标数据库，导入成功后删除中转数据库中的数据；

将源端数据库中的增量数据按照预设同步速率同步复制到缓存数据库中，且添加增删改标识和时间戳字段，再将缓存数据库中的增量数据解析转换后按照预设接入频率接入目标数据库；

在源端数据库向缓存数据库同步数据时，获取同步信息，根据同步信息实时更新同步速率，在缓存数据库向目标数据库解析接入时，获取解析接入信息，根据解析接入信息实时更新接入频率。

本申请一些实施例中，在获取同步信息之后，所述方法还包括：

同步信息包括平均每条数据同步时间；

若平均每条数据同步时间大于第一预设时间阈值，则根据同步信息实时更新同步速率；

若平均每条数据同步时间不大于第一预设时间阈值，则不更新同步速率。

本申请一些实施例中，在获取解析接入信息之后，所述方法还包括：

解析接入信息包括全部数据解析完成时间；

若全部数据解析完成时间大于第二预设时间阈值，则根据解析接入信息同步更新接入频率；

若全部数据解析完成时间不大于第二预设时间阈值，则不更新接入频率。

本申请一些实施例中，根据同步信息实时更新同步速率，包括：

同步信息还包括源端和目标端服务器性能信息、增删改时间和源端数据库流入数据，源端服务器性能信息包括源端平均CPU使用率和源端内存消耗，目标端服务器性能信息包括目标端平均CPU使用率和目标端内存消耗；

根据源端平均CPU使用率、源端内存消耗、增删改时间和源端数据库流入数据建立第一源端修正数组，并根据第一源端修正数组得到第一影响值；

根据目标端平均CPU使用率和目标端内存消耗建立第一目标端修正数组，并根据第一目标端修正数组得到第二影响值；