[发明专利]日志传输方法及系统

说明书

本发明公开了日志传输方法及系统，包括：发送端将日志数据的长度和日志数据本身发送给接收端；接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配，若匹配，则断开发送端与接收端之间的数据连接，否则，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。解决小并发大数据量情形下，日志数据传输难以及实时高效记录的问题。

技术领域

本发明涉及网络数据传输技术领域，特别是涉及日志传输方法及系统。

背景技术

Http打包上传日志：超文本传输协议Http是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。

缺点：1)传输速度慢，数据包大(Http协议中包含辅助应用信息)。2)如实时交互，服务器性能压力大。3)数据传输安全性差。

通过socket传输日志：套接字(socket)是通信的基石，是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示，包含进行网络通信必须的五种信息：连接使用的协议，本地主机的IP地址，本地进程的协议端口，远地主机的IP地址，远地进程的协议端口。

缺点：1)需对传输的数据进行解析，转化成应用级的数据；2)对开发人员的开发水平要求高。3)相对于Http协议传输，增加了开发量。

现有技术存在的技术问题是：

数据在发送端与接收端之间传输的过程中，由于按照任务优先级来传输，导致低优先级的数据传输经常中断，中断后，发送端与接收端之间连接缺失，导致数据丢包现象频发。

发明内容

为了解决现有技术的不足，本发明提供了一种日志传输方法及系统，解决小并发大数据量情形下，日志数据传输难以及实时高效记录的问题；

日志传输方法，包括：

发送端将日志数据的长度和日志数据本身发送给接收端；

接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配，若匹配，则断开发送端与接收端之间的数据连接，否则，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。

进一步的，所述发送端将日志数据的长度和日志数据本身发送给接收端步骤之前，还包括：发送端对数据进行缓存，发送端与接收端之间建立数据连接。

进一步的，所述发送端将日志数据的长度和日志数据本身发送给接收端，包括：

发送端先将日志数据的长度发送给接收端，然后将日志数据本身传输给接收端。

进一步的，所述发送端对数据进行缓存，包括：

发送端接收输入的日志数据；

发送端将日志输入存入数据队列。

进一步的，所述发送端将日志输入存入数据队列的步骤为：

发送端判断内存队列是否已满，如果未满就将日志数据存入内存队列，如果已满就将日志数据存入硬盘队列。

进一步的，所述发送端与接收端之间建立数据连接，包括：

发送端唤醒传输线程；

传输线程读取数据队列中的数据；

创建发送端与接收端之间的Http连接。