[发明专利]大数据向云端迁移时的数据中心的选择方法

说明书

本发明提出了一种大数据向云端迁移时的数据中心的选择方法，首先，考虑到因用户偏好和法律限制等因素导致DC不可用情况，进行了非完全图建模；采用激活级别的方式来描述用户的数据产生量；定义了公平数据放置FDP、优选数据放置PDP、传输成本最小化数据放置TCMDP和成本最小化数据放置CMDP等四种准则；基于上述准则进行DC的选择。本发明提出的方法针对BD向云端移动时的需求，从用户角度研究了移动机制，可以缩短数据接入时延，降低数据成本。本发明的方法可以反映DC的可用性以及用户的偏好。本发明的方法可以利用网络自动进行低成本，低延迟的数据迁移，避免采用硬件方式，有利于自动化管理的实施。

技术领域

本发明涉及云计算技术领域，尤其涉及一种大数据向云端迁移时的数据中心的选择方法。

背景技术

云计算已经成为了大数据(BD)分析的优选平台。特别的当数据时从多个跨地域分布的地点产生，而且本地用户需要经常用到本地数据，并且有时数据又需要进一步整合以进行进一步分析时，尤其如此。例如，对于一个具有很多遍布全球的子公司的跨国销售公司来说，每个国家的子公司为了商业目的需要及时对本土用户产生的数据进行分析。所有的数据又要被汇总分析以报给总部，或者支持跨国交易。一般来说，一个大型的云以分布式进行组网并具有多个跨地域分布的数据中心(DC，比如Amazon至少有遍布4个大洲的11个DC，Google至少有遍布4个洲的13个DC)。每个DC都已按需付费的方式配置有计算以及存储资源。这种基础设施能够提供就近服务，特别适合于跨地域分布。

为了在云中处理BD，前提条件是将BD迁移并存储到合适的DC上。直接移动硬件是移动大规模数据的一种可选方式。比如，Amazon Import/Export服务推荐用可移动存储设备来运送数据。有时，甚至有可能移动整个机器。但这只适合于间歇性的，或者一次性的大批量数据移动。这种方式有很大的延迟，不能满足不断增长的数据实时分析需求。而且它也和自动管理理念相矛盾，并且需要更多的变得越来越贵的劳动力参与。在Inter网上传数据非常昂贵，而且因为太大的延迟而不实用。据Amazon数据，通过10MB Inter网传输1TB的数据大致需要13天时间。实时数据通常被建议用高速专用连接传送(如AWS directconnect)。这种方式能够加快传输速度。但即便依赖于高速专用连接，跨大洲进行数据传输仍然十分困难。例如，AWS direct connect不提供跨大洲的服务。而国际专线却太贵。这就限制了将通常遍布全球的大规模数据移动到一个DC上。而且，用一个DC来存储数据会导致更经常的本地数据分析延迟更大。

特别在一些区域，数据安全法律要求一些数据必须存储在本地(如欧盟的一些国家)。总而言之，用户有必要遵循一些规则来为他们的数据选择合适的存储地点。就像Amazon建议的那样：离用户更近以减少数据使用延迟，满足特定的法律规要求，或者减少成本等。

当前，一些基于MapReduce的框架，比如G-Hadoop和G-MR，已能够实现跨集群和DC的数据分析。和只用一个DC的机制相比，使用多个DC的机制不仅能满足综合分析的需求，而且能保证更快的数据使用和具有更低的成本。

将BD移动到云端时多个DC的选择问题和设施选择问题(facility locationproblem，FLP)以及k-中间点问题相关。FLP旨在基于不同准则选择设施来服务客户。DC可以被看做是设施，而本地数据用户即是客户。k-中间点问题试图找到不多于k个点，其余没有被选择的点将被指配到一个被选择的点，使得这些点对之间的边长和最小。

FLP问题的变种中，k-供应商问题需要从给定集合中选择至多k个供应商(对应DC)使得每个客户和离他最近的供应商之间的最大距离最小。一般的，供应商和客户网络被建模成一个完全图对于一个广义的k-供应商问题变种，每一个供应商被赋予一个权值，要求所有被选择的供应商权值不大于k。但是，受限于法规，一些DC可能不能用来服务某些数据，所以图不总是完全图。而且，数据是和用户相关的，而不是和DC相关。