[发明专利]基于消息队列的数据处理方法、装置、系统及存储介质在审
| 申请号： | 201910407305.7 | 申请日： | 2019-05-16 |
| 公开（公告）号： | CN110209507A | 公开（公告）日： | 2019-09-06 |
| 发明（设计）人： | 刘襄雄;吴鸿伟;周成祖;鄢小征;毕永辉;王海滨 | 申请（专利权）人： | 厦门市美亚柏科信息股份有限公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F16/2457 |
| 代理公司： | 厦门福贝知识产权代理事务所(普通合伙) 35235 | 代理人： | 郝学江 |
| 地址： | 361000 福建省厦门市*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 存储介质 消息传输队列 源数据存储 目标消息 消息队列 数据处理 源数据 队列 目标数据库 数据仓库 数据汇聚 数据集成 数据源库 通信规范 通信解耦 消息通道 源数据库 高效率 发送 统一 | ||
1.一种基于消息队列的数据处理方法，其特征在于，所述方法包括：
获取至少一个源数据库的源数据；
将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列；
基于所述目标消息队列得到相应的源数据，将所述相应的源数据存储至对应的目标数据库。
2.如权利要求1所述的方法，其特征在于，所述获取至少一个源数据库的源数据，包括：
采用ORM框架或DBHelper类与所述至少一个源数据库进行适配；
根据预设的数据读取方式读取所述源数据。
3.如权利要求2所述的方法，其特征在于，采用DBHelper类与所述至少一个源数据库进行适配包括：
基于第一接口和/或第二接口适配所述至少一个源数据库，所述第一接口用于规范所述DBHelper类，所述第二接口用于扩展需要获取所述源数据库信息的所述DBHelper类。
4.如权利要求1所述的方法，其特征在于，将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列，包括：
基于预定的消息格式将所述源数据存储到所述消息传输队列；
当检测到触发事件时，将所述传输消息队列通过所述信息通道发送至所述目标消息队列。
5.如权利要求1所述的方法，其特征在于，所述消息传输队列的消息通道包括消息传输队列发送通道和消息传输队列接收通道，所述方法还包括：设置消息传输队列发送通道的通信参数与消息传输队列接收通道的通信参数相匹配以建立所述消息通道。
6.如权利要求1所述的方法，其特征在于，所述获取至少一个源数据库的源数据或所述将所述相应的源数据存储至对应的目标数据库均包括在线或离线的方式。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：配置TCP/IP的KeepAlive参数以实现断网续传。
8.一种基于消息队列的数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取至少一个源数据库的源数据；
消息队列模块，用于将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列；
数据写入模块，基于所述目标消息队列得到相应的源数据，将所述相应的源数据存储至对应的目标数据库。
9.一种基于消息队列的数据处理系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至7中任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门市美亚柏科信息股份有限公司，未经厦门市美亚柏科信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910407305.7/1.html，转载请声明来源钻瓜专利网。
