[发明专利]一种基于内容感知的数据去重方法与装置

摘要

本发明提供了一种基于内容感知的数据去重方法与装置，包括运行在上位机的IO处理装置和运行在存储控制器的数据去重装置,数据去重装置包括解析单元、特征值比对单元和数据去重执行单元。对待存储数据按内容分为文本、音频、图像、非时序数值数据与时序数值数据，按类型采用不同的算法计算其特征值，将得到的特征值与初始IO写请求组合成新的IO写请求，按解析出的IO写请求数据类型，特征值比对单元从相应的特征值子表读出特征值，计算待存储数据特征值与读出特征值的汉明距离，将判断结果发送至数据去重执行单元进行数据去重操作。本发明采取基于内容感知的特征值计算算法和数据重复判断标准，提高了去重成功率和去重效率。

主权项

1.一种基于内容感知的数据去重方法，其特征在于，包括：对待存储数据按内容进行分类，类型包括文本、音频、图像、非时序数值数据与时序数值数据；对这些数据，按类型采用不同的特征值计算算法，计算其特征值；将计算得到的特征值与初始IO写请求组合成新的IO写请求，发送至存储控制器进行下一步的操作；接收来自主机的IO写请求，解析待存储数据的类型，分为文本、音频、图像、非时序数值型数据与时序数值型数据；按解析出的IO写请求数据类型，从相应的特征值子表读出特征值，计算待存储数据特征值与读出特征值的汉明距离；当待存储数据类型为文本、音频、图像数据时，若计算出的汉明距离小于参数化设置的值时，则判断为重复数据，否则判断为非重复数据；当待存储数据类型为非时序数值型数据，若计算出的汉明距离为0，则判断为重复数据，否则判断为非重复数据；若待存储数据为时序数值型数据，则不执行比对和去重操作；对判断结果进行数据去重操作，当判断为重复数据时，则不执行IO写请求操作，将该IO写请求的逻辑地址映射到已存储数据的物理地址，并更新地址映射表；当判断为非重复数据时，将该特征值写入该种类型数据的特征值子表，执行IO写请求操作，更新地址映射表。