[发明专利]一种基于网络的业务数据采集交付系统及方法

摘要

本发明公开了一种基于网络的业务数据采集交付系统及方法，其他交付系统包括：采集子系统，所述采集子系统用于采集原始网络经筛选之后的业务数据，并提交给处理子系统；处理子系统，所述处理子系统负责解析网络协议后提取业务数据，并将业务数据组织成业务记录，并发存贮；以及业务记录数据中心，所述业务记录数据中心存贮上述业务记录；所述采集子系统对业务数据形成至少两次筛选，第一次筛选后将需要的业务数据复制输出到独立于生产业务系统外的监控系统，第二次筛选后将业务数据构建成数据文件或者端口数据流方式提交给处理子系统。具有独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力的特点。 1

主权项

1.一种基于网络的业务数据采集交付系统，其特征在于，包括：

采集子系统，所述采集子系统用于采集原始网络经筛选之后的业务数据，并提交给处理子系统；

处理子系统，所述处理子系统负责解析网络协议后提取业务数据，并将业务数据组织成业务记录，并发存贮；

以及业务记录数据中心，所述业务记录数据中心存贮上述业务记录；

所述采集子系统对业务数据形成至少两次筛选，第一次筛选后将需要的业务数据复制输出到独立于生产业务系统外的监控系统，第二次筛选后将业务数据构建成数据文件或者端口数据流方式提交给处理子系统。

2.根据权利要求1所述的一种基于网络的业务数据采集交付系统，其特征在于：所述采集子系统包括数据采集模块和数据采集器，所述数据采集模块用于第一次筛选；所述数据采集器用于第二次筛选。

3.根据权利要求1所述的一种基于网络的业务数据采集交付系统，其特征在于：所述处理子系统包括协议处理网关，对所述协议处理网关配置以对业务数据进行分割、转译、合并和屏蔽，并组织成业务记录。

4.根据权利要求1所述的一种基于网络的业务数据采集交付系统，其特征在于：用户对协议处理网关配置以控制协议分析的深度、详细程度和业务记录的格式。

5.根据权利要求1‑4之一所述的一种基于网络的业务数据采集交付系统，其特征在于：所述协议处理网关还包括外接接口，接受其它数据源的数据，并转换成相应的底层业务记录。

6.一种基于网络的业务数据采集交付方法，其特征在于，包括以下步骤：

1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，并执行步骤2)，否则重新采集生产业务系统中产生的新的业务数据包；

2)数据采集器根据配置判断是否需要采集业务数据包，如果判断为是则通过数据文件进行存储或通过数据流方式发送到指定位置，然后进行步骤3)，如果判断为否，则丢弃业务数据包；

3)协议处理网关提取业务数据包，并对其进行解码，解析出数据包中的各层协议，然后结合已缓存的解码内容分析业务数据包中的各条业务记录是否完整，如果记录完整，则进行步骤4)，否则缓存业务记录的解码内容；

4)协议处理网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到指定的业务记录数据中心。

7.根据权利要求6所述的一种基于网络的业务数据采集交付方法，其特征在于，所述的步骤1)中的并根据配置判断是否满足复制要求具体为：用户设定主机、端口或协议，数据采集模块判断业务数据包是否来自用户设定的主机、端口或协议来判断是否进行数据复制。

8.根据权利要求6所述的一种基于网络的业务数据采集交付方法，其特征在于，所述的数据采集器根据配置判断是否需要采集业务数据包具体为：用户设定协议字段的内容，数据采集器判断业务数据包协议字段的内容来判断是否进行缓存。

9.根据权利要求6‑8之一所述的一种基于网络的业务数据采集交付方法，其特征在于， 所述的协议处理网关还接收其他数据源的数据，并进行步骤3)～4)。

10.根据权利要求9所述的一种基于网络的业务数据采集交付方法，其特征在于， 所述的其他数据源的数据包括硬件指标和底层网络指标，所述的硬件指标包括CPU使用率、内存使用率，所述的底层网络指标包括网络带宽使用率、TCP响应时间。