本发明公开了一种数据实时同步方法，涉及大数据分析技术领域，该方法包括在业务系统做预处理过程，获取数据信息并最终存入C l i ckhouse节点中，预处理过程包括应用程序拉取数据，获取外部配置参数，同步mongodb集群条件、分页信息以及主键，该方法还包括应用程序依据mongodb集群条件查询拉取的数据，再根据分页信息去mongodb集群查询数据，拉取到最后一条数据时更新查询条件，更新后的数据作为下一个查询的条件，应用程序根据主键的排序，将查询获取的数据写入多个C l i ckhouse‑bu l ck proxy中，最终由C l i ckhouse‑bu l ck proxy将应用程序查询获取的数据写入C l i ckhouse节点中，本发明可以自行定义写入时间，实时性可调控，而且在分页查询下，可以避免数据拥堵查询不出的情况发生。
本发明公开了一种mongodb集群与h i ve集群数据相互同步的方法及其同步系统，系统数据分析技术领域，包括h i ve集群、mongodb集群以及本地服务器，所述h i ve集群、本地服务器以及mongodb集群之间依次连接，在h i ve集群中做预处理，通过本地服务器执行程序，使得数据可以从mongodb集群同步到h i ve集群，在mongodb集群中做预处理，通过本地服务器执行程序，使得数据可以从h i ve集群同步到mongodb集群，本发明解决了大量数据在mongodb集群与h i ve集群之间的相互同步问题，可以加快业务的进程，提高效率，节约成本。
