[发明专利]数据处理方法、装置、系统及存储介质在审
申请号: | 201810525826.8 | 申请日: | 2018-05-28 |
公开(公告)号: | CN108763461A | 公开(公告)日: | 2018-11-06 |
发明(设计)人: | 孙健波;陈超 | 申请(专利权)人: | 上海七牛信息技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;H04L29/06 |
代理公司: | 上海硕力知识产权代理事务所(普通合伙) 31251 | 代理人: | 郭桂峰 |
地址: | 201203 上海市浦东新区中国(上海)自*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理设备 解析数据 日志信息 数据处理 解析 存储介质 目标解析 目标日志 数据方式 标识解析 实时控制 长连接 上传 服务器 采集 发送 申请 统一 | ||
本申请实施例提供一种数据处理方法、装置、系统及存储介质;所述数据处理方法包括:与数据处理设备进行长连接,并获取所述数据处理设备的多个解析数据方式;从所述多个解析数据方式中确定出目标解析数据方式;将所述目标解析数据方式对应的解析标识发送给所述数据处理设备;接收所述数据处理设备发送的目标日志信息,所述目标日志信息为所述数据处理设备将其采集到的日志信息根据所述解析标识解析后的日志信息。可以实时控制数据处理设备,并让不同的数据处理设备按照统一的解析数据方式解析日志信息并上传服务器。
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据处理方法、装置、系统及存储介质。
背景技术
随着电子技术的快速发展,诸如智能手机等电子设备的功能越来越多。例如,用户可以选择电子设备的网络连接模式、待机模式等,用户也可以使用电子设备上的各种应用来实现不同的功能。
在用户使用电子设备的过程中,经常需要对电子设备发出各种指令。而用户通常需要从电子设备的系统菜单或者电子设备上安装的应用的设置菜单中来选择所需的指令。这种选择指令的方式操作繁琐,效率低。
随着大数据技术的发展,纯粹的将原始数据收集到系统已经远远不能满足大数据分析的要求,现在的大数据平台,更加要求收集器上传的数据是标注了固定格式的。举例来说,对于一条日志“[info]2018/12/23,小明:你好。”,可以看到这条日志由实际上可以简单分四部分,每一部分所表达的含义都不同。第一部分在中括号中,表示日志的级别,第二部分是一个日期,第三部分表示说话的人,第四部分表示说话的内容,那么大数据平台更希望接受到的数据是按照格式说明好这四部分分别是什么,然后再传输上来,并去掉没用的符号,解析识别后的内容类似如下。级别:info;日期:2018/12/23;用户:小明;说话内容:你好。可以想象,目前计算机系统打印输出的日志,格式千差万别,如何将这些日志精准的识别解析出来,成为了现在数据收集的又一大难点。
发明内容
本申请实施例提供一种数据处理方法、装置、系统及存储介质,可以提高数据处理准确度。
本申请实施例提供一种数据处理方法,其包括:
与数据处理设备进行长连接,并获取所述数据处理设备的多个解析数据方式;
从所述多个解析数据方式中确定出目标解析数据方式;
将所述目标解析数据方式对应的解析标识发送给所述数据处理设备;
接收所述数据处理设备发送的目标日志信息,所述目标日志信息为所述数据处理设备将其采集到的日志信息根据所述解析标识解析后的日志信息。
本申请实施例还提供一种数据处理装置,其包括:
第一获取模块,用于与数据处理设备进行长连接,并获取所述数据处理设备的多个解析数据方式;
目标解析数据方式确定模块,用于从所述多个解析数据方式中确定出目标解析数据方式;
发送模块,用于将所述目标解析数据方式对应的解析标识发送给所述数据处理设备;
接收模块,用于接收所述数据处理设备发送的目标日志信息,所述目标日志信息为所述数据处理设备将其采集到的日志信息根据所述解析标识解析后的日志信息。
本申请实施例还提供一种数据处理系统,其包括服务器和数据处理设备;
所述服务器与数据处理设备进行长连接;
所述服务器获取所述数据处理设备的多个解析数据方式;
所述服务器从所述多个解析数据方式中确定出目标解析数据方式;
所述服务器将所述目标解析数据方式对应的解析标识发送给所述数据处理设备;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海七牛信息技术有限公司,未经上海七牛信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810525826.8/2.html,转载请声明来源钻瓜专利网。