[发明专利]一种内存计算服务框架及实现系统

说明书

本发明公开一种内存计算服务框架及实现系统。所述服务框架以Nats作为服务间通信的消息总线；所述服务通过订阅指定的topic来触发业务逻辑处理，处理完成后以消息形式发布所述服务框架的内存状态到指定的topic；所述服务框架使用Hazelcast缓存服务状态，提供统一的持久化和查询服务进行内存状态持久化和查询；使用SQL统一表达查询和订阅条件，并且创造性引入Q＆S订阅模式，确保消息消费不丢不重。通过预定义存储模型和统一的存储查询服务，将数据存储和查询与业务逻辑解耦并实现读写分离，通过引入SQL，Q＆S等技术解决了数据交互易用性和可靠性问题，主要应用于交易、风控、仓位、实时监控、实时指标计算等场景，可作为内存计算服务标准框架推广。

技术领域

本发明属于内存计算领域，涉及一种内存计算服务框架及实现系统。

背景技术

数字化大潮的背景下，随着数据生产速度和数据量的增长，以及对数据处理实时性要求的提高，已经不能接受“先落地，再处理”的传统数据处理模式，数据必须在产生时以极短时间进行分析处理，然后输出结果作为其他系统的输入，数据库不再处于实时数据处理的中心，而是退回到了幕后，作为数据落地后进行分析和运营的载体。但凡对实时性有要求的系统，其关键路径上已很难看到数据库的影子，大多都是基于内存计算的架构，但内存计算并不是万能的，依旧存在诸多痛点等待解决。

经检索发现，CN106021484A的中国发明于2016年10月12日公开了一种基于内存计算的可定制多模式大数据处理系统，包括：数据存储层模块、基于内存的数据共享和管理层模块、基于内存计算的通用执行框架层模块以及访问接口层模块；其中，采用了数据的分布式内存抽象机制、位置感知性调度机制、分布式混合列式存储机制。该发明构建了海量数据存储，提供面向集群并发计算的内存数据管理和共享框架，并提供高效、按需定制的大数据多模式通用处理框架，支持批处理、实时数据流计算，对数据的灵活分析与深度利用提供支撑。但是由于缺少消息总线，上游消息在逻辑上和物理上都需要依赖其他服务，无法实现逻辑解耦和物理解耦，总任务的执行时间比较长；并且在接口定义，调用方式，存储模型等方面没有形成统一的规范和实践。因此在数据处理实时性要求大幅提高的前提下，需要统一的服务框架来提供服务管理，消息路由，订阅发布，数据存储查询等基础能力。

公开号为CN105426504A的中国发明于2016年3月23日公开了一种基于内存计算的分布式数据分析处理方法，包括如下步骤：1)提供一个类SQL解析器，将传入的查询分析文本解析为相应的逻辑计划，并进行初步优化；2)提供一个任务转换器，将类SQL解析器生成的逻辑计划转换为可为大数据内存计算模型识别的计算表达式，包含多个自定义的转化类；3)提供一个查询优化器，将传入的内存计算模型可识别的表达式转化为逻辑计划同时对逻辑计划进行优化，然后转化为物理执行计划。针对传统大数据处理在数据查询分析处理上的空缺，该发明提供了一种基于内存计算的分布式数据分析处理方法，继承了内存计算模型在数据处理方面的优势，使得数据查询分析的编程语言更加简单。但是数据仍然分散在各业务系统中，外部系统的查询请求必须由业务系统处理，无法做到读写分离，影响了优先级更高的业务请求的处理以及服务整体稳定性，需要对数据分析处理方法加以改进。

目前部门交易业务相关各团队自研的交易、风控、仓位、实时监控、实时指标计算等系统均是基于内存计算的思路而搭建，其性能相比于数据库系统有了数量级的提升，但同时也存在如下一些问题：

(1)服务各自为战，在接口定义，调用方式，存储模型等方面没有形成统一的规范和实践；

(2)数据分散在各业务系统中，外部系统的查询请求必须由业务系统处理，无法做到读写分离，大数据量查询可能引发较长时间GC停顿，甚至服务整体不可用，影响了优先级更高的业务请求的处理以及服务整体稳定性；

(3)服务间数据交互成本高，必须事先定义好订阅和查询的API，新的查询请求必然要新增API才能满足，因此，存在灵活性不足的问题；