[发明专利]一种基于ES服务的内存熔断方法、装置、设备及可读介质

说明书

本发明提供了一种基于ES服务的内存熔断的方法、装置、设备及可读介质，该方法包括：监控集群各节点实例的资源状态和任务运行情况；基于监控到的资源状态和任务运行情况设定任务优先级，并根据设定的任务优先级设定优先级控制列表；响应于检测到资源状态达到预设第一阈值，根据列表中的优先级为任务分配不同的系统资源；响应于检测到资源状态达到预设第二阈值，根据列表中的优先级将优先级低的任务进行内存熔断以释放资源。通过使用本发明的方案，能够有效避免高负载复杂场景下集群的重要任务执行失败，更好的保护重要任务的运行平稳，极大的提高ES服务运行的稳定性和高效能。

技术领域

本发明涉及计算机领域，并且更具体地涉及一种基于ES服务的内存熔断的方法、装置、设备及可读介质。

背景技术

ES(指一种分布式全文数据库系统服务Elasticsearch)应用服务本身将当前环境可以使用RAM资源进行分类区分，其中堆外占用为索引中的FST索引内容，当索引开启时常驻内存。在应用的堆内则进行更加精细的区分，包括fileddataCache、requestCache、queryCache等内存区域，这部分堆内内存使用区域均位于ES应用的JVM划分RAM资源中，用于ES检索系统的特殊内容、索引、检索等部分功能的运行。对于ES的堆内使用内存区域，ES存在一套内存熔断机制，内存熔断机制针对分配的可用资源使用情况进行任务熔断管理，当某一分区任务资源使用过限，便会自动启动熔断保护机制，以便及时终止当前异常任务并释放资源，避免应用和系统因为资源缺乏导致宕机故障。

当前主流版本的ES服务架构是一种业务无感知架构，当一套集群系统的任务并发较大时，无论服务运行多少任务，应用内部始终是以请求队列排队运行的方式运行任务，没有优先级区分。而ES对于应用资源则属于有感知消耗，尤其是其内存系统的特性会消耗大量的RAM资源，当磁盘存储较多的数据之后，经常会面临ES索引占用RAM资源较多而整体环境RAM消耗较大，叠加服务器系统RAM资源释放不及时的问题，导致应用所需的运行节点感知RAM资源紧张进而触发ES应用的任务熔断机制引起检索任务异常终止问题。

ES的常规熔断触发会强制停止当前请求任务的正常执行，待到系统资源重新释放后才能恢复后续的正常功能使用。ES系统在运行这些请求任务的时候是统一使用请求分发的方式进行的，没有做优先级的区分，在实际的业务场景中，索引(一般指索引数据写入)或检索(指搜索)任务都是有业务方面的优先级区分，尤其是在一些实时搜索场景，业务高峰时段的实时检索请求通常要求在近实时的时间内返回结果，而一些索引数据写入任务或批处理的统计分析任务则并不要求实时反馈结果。基于上述特点，如果一个集群系统的任务压力较重，而恰好又处在业务高峰时段，此时就会容易导致任务挤压运行，且无优先级的流量控制导致大量请求堆积，而堆内资源使用一旦达到阈值就会引起瞬时段内的大量请求任务无差别执行失败，从而影响重要任务的执行结果反馈，影响业务运行。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于ES服务的内存熔断的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够有效避免高负载复杂场景下集群的重要任务执行失败，更好的保护重要任务的运行平稳，极大的提高ES服务运行的稳定性和高效能。

基于上述目的，本发明的实施例的一个方面提供了一种基于ES服务的内存熔断的方法，包括以下步骤：

监控集群各节点实例的资源状态和任务运行情况；

基于监控到的资源状态和任务运行情况设定任务优先级，并根据设定的任务优先级设定优先级控制列表；

响应于检测到资源状态达到预设第一阈值，根据列表中的优先级为任务分配不同的系统资源；

响应于检测到资源状态达到预设第二阈值，根据列表中的优先级将优先级低的任务进行内存熔断以释放资源。

根据本发明的一个实施例，监控集群各节点实例的资源状态和任务运行情况包括：

监控收集各节点和实例返回的集群资源信息；