[发明专利]一种低功耗的高性能重复数据删除系统

摘要

一种低功耗的高性能重复数据删除系统，包括：生产中心，计算中心和备份中心。生产中心复制用户写请求数据并发送到计算中心；计算中心对数据进行重复数据删除工作并将非重复的数据发送到备份中心；备份中心对接收到的数据进行存储。本发明在计算中心使用VIA处理器来降低系统运行时功耗。本发明采用了如下几种策略来提高系统的性能：首先，调用VIA处理器提供的协处理器模块的特殊汇编指令来做摘要计算和数据加密工作，利用这种硬件来提高系统性能能；其次，计算中心使用GPU加速重复数据删除系统中的数据压缩过程以及Bloomfilter的计算过程；利用GPU的并发处理能力来提高系统的运行效率；最后，本发明使用了两种流水线机制来进一步提高系统性能。

主权项

一种低功耗的高性能重复数据删除系统，该系统由以下三部分组成：生产中心、计算中心和备份中心；生产中心产生需要做备份的数据并发送到计算中心，同时负责用户交互过程；计算中心接收来自生产中心的数据，进行数据的重复性判断，删除重复的数据并加密不重复的数据然后将加密后的不重复数据发送到备份中心做永久存储；备份中心负责接收计算中心发过来的加密后的不重复的数据并合理的存储；重复数据删除系统一般采用比较数据的摘要方法来查重，并引入了Bloomfilter技术进行数据的初步查重以进一步减少数据比较量；其特征在于计算中心采用如下方法加速的计算过程并降低功耗：第1、使用协处理器加速系统的计算问题第1.1、 使用威盛处理器VIA的协处理加速摘要计算和数据加密任务第1.2、 使用图形加速显卡GPU加速系统中的压缩过程第1.3、 使用GPU加速系统中的数据摘要计算第1.4、 使用GPU加速Bloomfilter过程 第1.5、 使用GPU处理整个系统的初步查重过程第2、多线程并行处理的流水线机制         第 2.1、多线程流水线机制  第2.2、压缩在前的流水线  第2.3、压缩在后的流水线  第2.4、使用GPU做主要计算的流水线。