[发明专利]SSH协议文本数据采集方法、采集器及计算机设备

说明书

本发明涉及一种SSH协议文本数据采集方法、采集器及计算机设备。该方法包括：步骤10、SSH资源池管理读取日志源文件所需的连接资源；步骤20、至少一读取组件争抢所述连接资源以读取日志源文件，如果所述SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；步骤30、读取组件将读取到的日志源文件数据存放到共享内存中；步骤40、解析组件从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；步骤50、打包发送组件打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。本发明通过SSH协议远程采集目标机器上的文本数据，无需在目标机器上安装额外的程序。

技术领域

本发明涉及通信领域，尤其涉及一种SSH协议文本数据采集方法、采集器及计算机设备。

背景技术

随着企业信息化程度越来越高，面对着各类平台和系统产生的大量日志(设备日志、系统日志和应用日志等)，如何充分发掘日志价值、提升基础运营能力、降低运营风险成为重要课题，建立满足日志的统一存储、统一查询、统一分析、数据共享、智能预警审计派单、运营评估分析形成评估报告等能力的统一日志平台势在必行。

现有技术中一般使用采集器来采集各种日志。现有的采集器，例如flume、logstash等，虽然功能强大、稳定且扩展性良好，但是它们都无法做到在目标机器完全不配合的情况下进行数据采集。

采集器作为日志平台的核心组成部分，现有很多成熟的产品，但这些产品大多数都是通过在目标机器上安装Agent代理程序实现，但是在生产环境中，企业一般不能接受这种方式，所以有必要研发一款利用通用协议进行远程采集的采集器。

发明内容

因此，本发明的目的在于提供一种SSH(安全外壳)协议文本数据采集方法、采集器及计算机设备、计算机可读存储介质，通过SSH协议远程采集目标机器上的文本数据。

为实现上述目的，本发明提供了一种SSH协议文本数据采集方法，包括：

步骤10、SSH资源池管理读取日志源文件所需的连接资源，以供读取组件读取日志源文件时申请连接资源；

步骤20、至少一读取组件争抢所述连接资源以读取日志源文件，如果所述SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；

步骤30、读取组件将读取到的日志源文件数据存放到共享内存中；

步骤40、解析组件从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；

步骤50、打包发送组件打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。

其中，所述读取组件根据日志源文件进行创建，一个日志源文件对应一个读取组件。

其中，步骤30中，所述读取组件按行读取日志源文件数据。

本发明还提供了一种SSH协议文本数据采集器，包括：

SSH资源池，用于管理读取日志源文件所需的连接资源，读取组件读取日志源文件时需要向SSH资源池申请连接资源；

至少一读取组件，用于争抢所述连接资源以读取日志源文件，如果SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；

共享内存，用于存储读取组件读取到的日志源文件数据；

解析组件，用于从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；以及

打包发送组件，用于打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。