[发明专利]一种基于kafka和log的数据抽取和同步方法

摘要

本发明涉及信息技术领域，提供了一种基于kafka和log的数据抽取和同步方法，通过使用各个系统的增量log作为数据基础，数据使用方通过订阅kafka来消费log解决上述方案存在的问题。在此方案中，提供搜索服务的使用方将日志保存到HBase中，提供缓存服务的使用方可以将缓存数据保存到Redis中，数据同步的使用方可以将数据保存到自己的数据库中，由于kafka中的日志数据是可以重复消费的，并且会缓存一段时间，各个使用方可以通过消费kafka中保存的日志来达到既能保持与数据库的一致性，也能保证数据的实时性。