[发明专利]一种基于Spark引擎的智能分析系统

摘要

本发明公开了一种基于Spark引擎的智能分析系统，解决了智能分析服务的性能问题，且系统架构更灵活独立，复杂度降低，还拓宽科技监管的应用场景。其技术方案为：利用Spark分布式技术，将原先单机运行的算法改造成可分布式运行的算法，以集群计算方式解决Python算法单机运行的性能瓶颈，实现将智能分析服务应用于长时间、大数据分析场景，支持海量数据分析和价值挖掘，可以拓宽科技监管的探索深度和广度。将智能服务生产离线数据与监查系统消费离线数据两种行为解耦合，采用定时任务调度管理方式，避免现有系统里Java框架和Django框架间不稳定的服务调用交互，使架构更灵活独立，降低复杂度。还增加提供实时数据服务功能，拓宽科技监管的应用场景。