[发明专利]数据处理方法、装置和系统有效
| 申请号： | 201611147953.6 | 申请日： | 2016-12-13 |
| 公开（公告）号： | CN108616556B | 公开（公告）日： | 2021-01-19 |
| 发明（设计）人： | 孟庆义 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;H04L12/24;G06F16/18;G06F16/182 |
| 代理公司： | 北京市惠诚律师事务所 11353 | 代理人： | 逯博 |
| 地址： | 英属开曼群岛大开*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供了数据处理方法、装置和系统，通过分布式在线存储系统中的各个存储节点根据待导出日志数据的数据量，将待导出日志数据拆分为至少两个数据包，从而向至少两个采集节点分别进行发送，从而在日志生成速度较高时，能够及时导出分布式在线存储系统中各存储节点的日志数据；同时，采集节点分别从分布式在线存储系统的至少两个存储节点接收日志数据，并当分布式在线存储系统中待导出日志数据的最小时间戳大于所接收到的日志数据的时间戳时，将所接收到的日志数据写入到离线系统，从而在日志生成速度低于导出速度时，避免了采集节点资源的浪费，解决了现有技术中的导出系统的导出速度与分布式在线存储系统的对导出速度的需求不匹配的技术问题。 | ||
| 搜索关键词： | 数据处理 方法 装置 系统 | ||
【主权项】：
1.一种数据处理方法，其特征在于，包括：分布式在线存储系统中的存储节点根据待导出的目标日志数据的数据量，将所述目标日志数据拆分为至少两个数据包；所述存储节点将所述至少两个数据包，分别发送至日志导出系统中的各采集节点；接收到所述数据包的采集节点，根据所接收到的数据包中目标日志数据的时间戳，将所述目标日志数据写入临时表中对应的目标时间分区；当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，所述日志导出系统中的分区管理节点将所述目标时间分区内的日志数据转存至离线存储系统。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611147953.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种能力管控方法、装置和系统
- 下一篇：建立通话的方法、装置及用户设备
