[发明专利]数据实时采集并可视化的实现方法及装置

说明书

本发明实施例提供了一种数据实时采集并可视化实现方法及装置，所述方法包括：根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；将待展示原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；根据预设配置，实现统一格式的数据可视化；可选地，根据预设报警条件，定时从预监控数据源获取待监控的原始数据，若所述待监控的原始数据异常则实时报警。实现了所有平台无差别展示数据，不仅能在华丽的数据大屏上展示，也能适应在其它中小屏设备上展示，由于设计了数据监控报警单元，可及时发现业务数据异常，帮助接入方尽早发现问题。

技术领域

本发明涉及一种数据实时采集并可视化的实现方法及装置，尤其涉及一种数据实时采集并全平台可视化展示的方法及装置。

背景技术

当前互联网环境人口红利正在消失，消化存量用户提升转化率，基于数据的精细化运营成为业务生存发展的关键战场。数据精细化运营依赖数据采集、处理分析、展示、反馈等相关环节的建设，产出高效直观多平台展示的数据。

在现有技术中，主要是采用日志处理展示一体化Elasticsearch,Logstash,andKibana(ELK)来实现，Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析并将其存储供以后使用。Kibana是一个开源和免费的工具，它可以为Logstash和Elasticsearch的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。ELK工作流程：在需要收集日志的所有服务上部署Logstash，作为Logstash agent用于监控并过滤收集日志，将过滤后的内容发送到Redis(日志型数据库)，然后Logstash index将日志收集在一起交给全文搜索服务Elasticsearch，可以用Elasticsearch自定义搜索通过Kibana来结合自定义搜索进行页面展示。

在现有技术中，还存在关注数据可视化，灵活展示的技术方案，代表产品为阿里云Datav数据可视化，相比于传统图表与数据仪表盘，阿里云Datav数据可视化致力于用更生动、友好的形式，将数据可视化展示。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：日志数据处理展示一体化的方案中，展示形式单调，不满足数据大屏多元化展示需求，不支持业务级别异常报警；专注数据可视化，灵活展示的数据可视化的实现方案中，专注于数据大屏展示，不兼容移动设备，不关注数据来源，不具备数据采集、异常报警等功能。

发明内容

本发明实施例提供一种多种类型的数据实时采集，跨平台可视化展示的实现方法及装置，同时可以根据预设报警规则监控数据，异常报警的技术方案。

一方面，本发明实施例提供了一种数据实时采集并可视化的实现方法，所述方法包括：

根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；

将待展示的原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

根据预设配置，实现统一格式的数据可视化。

另一方面，本发明实施例提供了一种数据实时采集并可视化的实现装置，所述装置包括：

数据采集单元，用于根据预设条件，采集预设时间段内的多种数据源的数据，得到待展示的原始数据；

数据适配单元，用于将原始数据的数据格式转换适配成可直接用于可视化展示的第一数据格式，得到统一格式的数据；

数据展示单元，用于根据预设配置，实现统一格式的数据可视化。