[发明专利]数据采集装置以及方法

说明书

本发明公开了一种数据采集装置以及方法，该数据采集装置包括：采集模块，用于采用特有标记方式对多个所述应用中的多个待监测方法进行标记，并用于根据所述标记对各个所述待监测方法进行信息采集，其中，所述特有标记是对代码逻辑无侵入性的标记方式；传输模块，连接于所述采集模块和汇聚模块，用于将采集的信息上传至所述汇聚模块；汇聚模块，用于将所述采集的信息存储于所述汇聚模块。上述技术方案，针对应用代码在线上环境中运行时的数据采集工作，提供了一种具有普适性的无侵入标记采集的方法。

技术领域

本发明涉及互联网技术领域，具体来说，涉及一种数据采集装置以及数据采集方法。

背景技术

针对应用代码在线上环境中运行时的系统数据采集工作，现有的数据采集方法包括以下的埋点采集(无埋点，web埋点，应用嵌入埋点)、日志采集、和变量跟踪三种方法：

一、埋点采集

埋点采集方法是通过前端XPath(XML路径语言，一种用来确定XML文档中某部分位置的语言)标记、页面埋点、应用嵌入埋点，进而采集用户交互的行为动作，统计后台暴露接口的访问次数、频率等信息。

但是，这种方法存在以下问题：1)工作量巨大：为确保采集数据全面有效，需对所有用户交互的动作进行埋点或标记，产生了极大的工作量。2)采集覆盖面小：仅能针对于暴露于前端的接口(方法)，无法针对服务器系统中所有的方法。3)数据统计困难：由于不同的业务场景，导致采集到数据格式很难做到完全统一，对于后期的数据分析工作无疑加大了难度。

二、日志采集

是指在关键方法或执行代码上打印相关日志，通过统计日志信息采集对应方法的执行次数、频率等信息，从而达到热点代码统计的作用。

但是，这种方法存在以下问题：1)侵入性强：此方案需要选定监测代码，在其执行过程前后加入统计代码，这样会破坏原本方法流程，具有很强侵入性，虽对新构建系统无影响，但是不便于已有系统的集成。2)采集覆盖面小：此方案需选定特定代码进行监测，出于性能考虑，无法针对所有方法进行监测，所以覆盖面仅能覆盖到选定的代码。3)可维护性差：由于针对于每个选定特定的代码均需添加统计代码，所以会产生多种重复的统计代码，在业务的不断更迭上，很难保障统计代码同步发生变化。故而可维护性较差。

三、变量跟踪

申请号为200810088906.8的专利中提出了一种代码审计的方法及装置：在源代码中追踪一个变量，得到处理该变量的各处理节点；使用发现单元来获取各个节点具体属性，依据采集到数据进行分析比较，从而起到监测安全属性的作用。

但是，这种方法存在以下问题：1)采集覆盖面小：通过追踪一个变量的轨迹得到处理该变量各个处理节点的属性，覆盖面仅局限在此变量存在的方法，无法覆盖所有的有效代码。2)无法统计变量未流经节点：此方案可以统计业务调用的代码，但无法统计系统没有执行到的代码。而往往定位出热点代码可以以提高性能，而定位出冷藏代码可以提高健壮性。3)无法跨应用采集：由于变量存在同一进程的内存，无法跨应用实例采集相同的方法的数据，从而统计结果的价值降低。

发明内容

针对相关技术中的上述问题，本发明提出一种数据采集装置以及数据采集方法，针对应用代码在线上环境中运行时的数据采集工作，提供一种具有普适性的无侵入标记采集的方法。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据采集装置，用于在应用运行时进行数据采集，该数据采集装置包括：

采集模块，用于采用特有标记方式对多个应用中的多个待监测方法进行标记，并用于根据标记对各个待监测方法进行信息采集，其中，特有标记是对代码逻辑无侵入性的标记方式；

传输模块，连接于采集模块和汇聚模块，用于将采集的信息上传至汇聚模块；