[发明专利]一种基于排队建模的批量流式计算系统性能保障方法

摘要

本发明公开了一种基于排队建模的批量流式计算系统性能保障方法，性能保障方法分为五个步骤，过程划分、组件选取、性能建模、延迟计算和瓶颈定位及优化。本方法针对批量流式计算系统在运行过程中负载强度具有明显波动性特征，抽取了批量流式计算系统中的关键组件，依据排队论理论构建系统的性能模型，并对模型进行数学解析；然后在系统运行过程中使用该模型计算不同负载强度下系统的数据处理延迟；在数据处理延迟无法满足数据处理时效性需求时，依据排队论原理定位性能瓶颈组件并给出优化配置建议。

主权项

1.一种基于排队建模的批量流式计算系统性能保障方法，其特征在于：该性能保障方法分为五个步骤：过程划分、组件选取、性能建模、延迟计算和瓶颈定位及优化；其中，过程划分、组件选取和性能建模步骤是在批量流式计算系统在线运行前一次性完成，延迟计算、瓶颈定位及优化步骤则在系统在线运行中周期性执行；在性能建模时，对数据到达强度、组件服务时间等做如下假设：1)外部数据源的数据到达符合泊松分布；2)数据处理采用先来先服务的调度方式；3)数据到达时间间隔与组件服务时间的分布规律相互独立；4)网络是不可控因素，因此假设网络带宽足够；在本方法中，有几个基本的参数：数据块间隔t