[发明专利]指标监控方法、电子设备及芯片系统在审
申请号: | 202110202753.0 | 申请日: | 2021-02-23 |
公开(公告)号: | CN114968696A | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 徐应明 | 申请(专利权)人: | 花瓣云科技有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F16/25;G06F16/215;G06F16/2455 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 赵倩 |
地址: | 523799 广东省东莞*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 指标 监控 方法 电子设备 芯片 系统 | ||
本申请适用于终端技术领域,提供了指标监控方法、电子设备及芯片系统。上述指标监控方法包括:第一电子设备生成预设数据生成模型,基于所述预设数据生成模型生成理论监测数据,并获取监控指标对应的第一指标值;所述第一电子设备向第二电子设备发送所述理论监测数据;所述第二电子设备通过数据处理模型对所述理论监测数据进行处理,并基于处理后的理论监测数据确定所述监控指标对应的第二指标值;所述第一电子设备和/或所述第二电子设备根据所述监控指标的第一指标值和第二指标值,对所述监控指标进行监测。上述方法能够监测在数据处理过程中指标本身是否存在异常。
技术领域
本申请涉及终端技术领域,尤其涉及一种指标监控方法、电子设备及芯片系统。
背景技术
大数据分析是一项对海量的文本、图像、音频和视频等数据进行数据分析和数据挖掘的技术。其中,ETL(Extraction-Transformation-Loading,抽取、转换和加载)是大数据分析中的一个重要过程,用于从海量数据中抽取需要的数据进行转换,转换后的数据是进一步进行数据分析、数据挖掘的基础。通过对海量数据的分析能够确定出用户的行为、用户对产品的依赖程度等结果,而且可以基于上述结果对产品和运营策略进行优化。例如,可以优化产品功能或页面,针对特定人群制定特定的运营策略,从而提升投资回报率(ReturnOn Investment,ROI)。
为了能够对运营策略的优化提供准确的数据支持,需要对ETL数据处理过程进行数据质量的监控。例如,可以根据ETL过程中产生的元数据信息和任务执行日志判断ETL数据处理过程是否存在数据处理的异常。若未检测到ETL数据处理过程存在数据处理的异常,则可以根据ETL数据处理过程得到的数据进行分析,得出能够对产品和运营策略进行优化的结果。然而,传统的对ETL数据处理过程进行数据质量监控的方法,大都聚焦在宏观上对ETL数据处理过程进行监控,并不能保证监控指标本身在ETL数据处理过程中可能存在的异常。
发明内容
本申请提供一种指标监控方法、电子设备及芯片系统方法,解决了现有技术中无法监测在数据处理过程中指标本身可能存在异常的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种指标监控方法,上述方法包括:第一电子设备生成预设数据生成模型,基于所述预设数据生成模型生成理论监测数据,并获取监控指标对应的第一指标值;所述第一电子设备向第二电子设备发送所述理论监测数据;所述第二电子设备通过数据处理模型对所述理论监测数据进行处理,并基于处理后的理论监测数据确定所述监控指标对应的第二指标值;所述第一电子设备和/或所述第二电子设备根据所述监控指标的第一指标值和第二指标值,对所述监控指标进行监测。
上述数据处理模型为第二电子设备在ETL数据处理过程中实际使用的数据处理模型,包括多个数据处理节点。在前的数据处理节点对理论监测数据处理完成后,将处理后的理论监测数据传输给下一个数据处理节点进行处理。因此,在第二电子设备通过数据处理模型对该理论监测数据进行处理的过程中,可能会存在由于数据传输导致部分数据丢失、第二电子设备处理逻辑错误等异常等情况。通过比较监控指标的第一指标值和第二指标值,根据比较结果即可确定上述数据处理模型是否存在上述异常情况,进而确定由上述数据处理模型处理后的数据得到的监控指标本身是否存在异常。若监控指标本身不存在异常,则可以根据该数据处理模型对数据源产生的数据进行处理。因此,本申请实施例能够提升所确定的监控指标的指标值的准确度,能够帮助业务运营人员及时监测监控指标是否异常。
需要说明的是,上述第一电子设备和第二电子设备可以为同一电子设备,也可以为不同的电子设备,对此不予限定。
其中,第一电子设备可以根据数据生成规则信息,确定监控指标对应的第一指标值。由于数据生成规则信息中包含监控指标及其相关信息,因此第一电子设备可以根据数据生成规则信息确定监控指标对应的第一指标值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于花瓣云科技有限公司,未经花瓣云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110202753.0/2.html,转载请声明来源钻瓜专利网。