[发明专利]一种传输数据的方法以及装置

说明书

技术领域

本发明实施例涉及数据传输的技术领域，尤其涉及一种传输数据的方法以及装置。

背景技术

在大数据产品运维日常工作中，经常会出现数据异常的情况，在分析这些异常原因时，发现数据会在很多环节出错，比如YCL、kafka、storm、solr、Hadoop等。而定位这些原因往往会花费开发人员很大的精力，有时甚至会出现查找一个原因团队所有人都出动的情况。通过逐项排查各节点查找数据异常的方法越来越困难，效率也很低。

发明内容

本发明实施例的目的在于提出一种传输数据的方法以及装置，旨在解决需要开发出一套高效、可靠、具有整合性的运维产品。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种传输数据的方法，所述方法包括：

客户端根据已保存的配置信息，逐个使用配置信息中的标识创建套接字，链接服务器；以使得所述服务器根据通信协议中的消息头的信息，将采集到的数据按指定长度逐条发送到所述客户端；

所述客户端将接收到的信息保存到相应日志类型命名的文件中。

可选地，所述方法还包括：

所述客户端向服务器触发交互流程；

所述客户端向所述服务器发送接收响应，所述接收响应用于通知所述服务器所述客户端已做好接收准备；

所述客户端向所述服务器发送结束响应，所述结束响应用于表示所述客户端接收完成。

第二方面，一种传输数据的方法，所述方法包括：

服务器接收客户端创建的链接，所述链接是所述客户端根据已保存的配置信息中的标识创建的；

所述服务器根据通信协议中的消息头的信息，将采集到的数据按指定长度逐条发送到所述客户端，以使得所述客户端将接收到的信息保存到相应日志类型命名的文件中。

可选地，所述方法还包括：

所述服务器向所述客户端返回响应，所述返回响应用于通知所述客户端接收日志；

所述服务器向所述客户端逐行发送日志内容；

所述服务器向所述客户端发送结束信息，所述结束信息用于表示所述服务器已完成数据发送。

可选地，所述服务器接收客户端创建的链接之前，还包括：

所述服务器接收客户端发送的交互命令；

所述服务器判断是否是所述交互命令的结束命令；

若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

可选地，所述服务器与所述客户端交互、发送日志，包括：

所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。

可选地，所述服务器与所述客户端交互、发送日志，包括：

若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据数据类型将相应的数据传输发送给客户端。

第三方面，一种传输数据的系统，所述系统包括：

客户端和服务器；

所述客户端，用于根据已保存的配置信息，逐个使用配置信息中的标识创建套接字，链接所述服务器；将接收到的信息保存到相应日志类型命名的文件中；

所述服务器，用于接收客户端创建的链接，所述链接是所述客户端根据已保存的配置信息中的标识创建的；根据通信协议中的消息头的信息，将采集到的数据按指定长度逐条发送到所述客户端。

可选地，所述服务器还用于：

在所述服务器接收客户端创建的链接之前，接收客户端发送的交互命令；判断是否是所述交互命令的结束命令；若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

可选地，所述服务器还用于：

所述服务器根据所述消息头的内容，获取对应类型或者路径下的日志；

若所述消息头是实时类型的消息，则采集到日志后，根据数据类型将相应的数据传输发送给客户端。

本发明实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。

附图说明

图1是本发明实施例提供的一种传输数据的方法的流程示意图；

图2是本发明实施例提供的一种传输数据的方法的流程示意图；