[发明专利]一种数据采集方法及装置在审
| 申请号： | 201810030892.8 | 申请日： | 2018-01-12 |
| 公开（公告）号： | CN108399186A | 公开（公告）日： | 2018-08-14 |
| 发明（设计）人： | 唐翌飞;赵晓庆;吴锋海 | 申请（专利权）人： | 联动优势科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京同达信恒知识产权代理有限公司 11291 | 代理人： | 黄志华 |
| 地址： | 100082 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供了一种数据采集方法及装置，包括：监听业务系统中日志文件的变更消息；判断数据队列中的日志数据量是否大于预设阈值；若否，则根据日志文件清单中日志文件的读取下标从日志文件中读取设定数量的日志数据，将读取的日志数据发送至数据队列并更新日志文件清单中日志文件的读取下标；在确定读取的日志数据不包括结尾标识时，返回判断数据队列中的日志数据量是否大于预设阈值的步骤，直至读取的日志数据中包括结尾标识。由于在数据队列内存没有到达上限时才从日志文件中采集数据并将采集的数据放入数据队列，且每次只采集预设数据的日志数据，从而避免了往满载数据队列中插入采集的数据而导致数据丢失问题，优化了数据采集过程。 | ||
| 搜索关键词： | 日志数据 日志文件 读取 数据队列 结尾标识 判断数据 数据采集 采集 预设 队列 数据采集过程 采集数据 监听业务 数据丢失 预设数据 放入 限时 内存 满载 变更 发送 返回 更新 优化 | ||
【主权项】：
1.一种数据采集方法，其特征在于，包括：监听业务系统中日志文件的变更消息；判断数据队列中的日志数据量是否大于预设阈值；若否，则根据日志文件清单中所述日志文件的读取下标从所述日志文件中读取设定数量的日志数据，将读取的日志数据发送至所述数据队列并更新所述日志文件清单中所述日志文件的读取下标，所述读取下标用于标识所述日志文件在前一次读取中的最后读取位置；在确定读取的日志数据不包括结尾标识时，返回判断所述数据队列中的日志数据量是否大于预设阈值的步骤，直至读取的日志数据中包括结尾标识。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于联动优势科技有限公司，未经联动优势科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810030892.8/，转载请声明来源钻瓜专利网。
