[发明专利]混合云环境下含隐私数据的Spark任务的调度方法

摘要

本发明公开了一种混合云环境下含隐私数据的Spark任务的调度方法，首先，确定Stage的子截止期；对任务打隐私标签。其次，采用Stage排序策略，确定待调度任务序列。再次，采用数据聚集策略，对隐私数据进行聚集操作。最后，依次调度敏感任务集合和非敏感任务集合。调度敏感任务时，选择合适的私有云资源调度方法，确定调度方案；调度非敏感任务集合时，根据私有云资源的可用区间和当前任务的预计执行时间，优先选择在私有云中调度；如果私有云资源不足以满足任务子截止期，则采用公有云租赁策略，从公有云中租赁满足子截止期的资源。本发明最小化租赁成本和保证数据的隐私性。