[发明专利]一种数据处理方法

说明书

技术领域

本发明涉及分层存储在文件处理的应用领域，尤其涉及的是，一种数据处理方法。

背景技术

相对于较为廉价的基础存储系统，具备同样存储空间的快速存储系统总是较为昂贵，例如SCSI存储系统相对于IDE存储系统较为昂贵，现在，新的固态硬盘(SSD，Solid State Disk)存储系统相对于串行高级技术附件(SATA，Serial Advanced Technology Attachment)存储系统也是如此。这是技术发展的趋势，通常不会改变。

但是，凡是涉及大型文件，例如媒体资源、三维构图、设计数据或者石油勘探数据等文件，通常体积较大，或称为大小较大；例如，常常大于200兆、350兆、500MB等，或者大于1个GB，尤其是现在对于视频文件清晰度要求的不断提高，视频文件的大小越来越大，如果一律采用快速存储系统，则成本明显偏高，性价比偏低。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明所要解决的技术问题是提供一种新型的在大型文件处理中应用分层存储技术的数据处理方法。

本发明的技术方案如下：数据处理方法，其包括读取步骤：获得文件请求，判断目标文件是否位于快速存储系统，是则从快速存储系统中将所述目标文件进行反馈传输，否则从基础存储系统中将所述目标文件进行反馈传输。

优选的，所述数据处理方法中，所述读取步骤中，在从基础存储系统中将目标文件进行反馈传输时，还执行以下存储步骤：从基础存储系统中将目标文件存储到快速存储系统。

优选的，所述数据处理方法还包括管理步骤：维护文件管理表，其中存储文件的位置信息，所述位置信息包括所述基础存储系统以及所述快速存储系统；并且，所述读取步骤中，根据所述文件管理表，判断目标文件是否位于所述快速存储系统。

优选的，所述数据处理方法还包括编辑步骤：获得编辑请求，判断目标文件是否位于快速存储系统，是则在所述快速存储系统中将所述目标文件进行编辑，否则在所述基础存储系统中将所述目标文件转存到所述快速存储系统，在所述快速存储系统中将所述目标文件进行编辑。

优选的，所述数据处理方法中，所述管理步骤中，所述维护文件管理表，还存储文件的更新信息。

优选的，所述数据处理方法中，所述快速存储系统包含固态硬盘或固态硬盘组，所述基础存储系统包含串行高级技术附件或串行高级技术附件组。

优选的，所述数据处理方法中，所述管理步骤还包括第一更新步骤：根据所述文件管理表，对于所述快速存储系统的某一文件，判断其上一次文件请求的时间是否超过一预设置阈值，是则从所述快速存储系统删除该文件，更新所述文件管理表。

优选的，所述数据处理方法中，所述第一更新步骤中，在从所述快速存储系统删除该文件之前，还执行第一同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

优选的，所述数据处理方法中，所述管理步骤还包括第二更新步骤：根据所述文件请求，对于相同目标文件，判断在一预设置阈值内是否存在新发生的文件请求，否则从所述快速存储系统删除该文件，更新所述文件管理表。

优选的，所述数据处理方法中，所述第二更新步骤中，在从所述快速存储系统删除该文件之前，还执行第二同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

采用上述方案，本发明采用分层存储的方式，有效地利用了快速存储系统，提高了快速存储系统的应用效率，从而在有限快速存储系统的前提下有效提升了数据处理效率，解决了在大型文件处理过程中，高频率读写速率低下的问题，尤其适用于媒资制作、三维图像处理、石油勘探数据等大型数据文件，因此具有非常广泛的市场应用价值。

附图说明

图1为本发明的一个实施例的应用示意图；

图2为本发明的一个实施例的示意图；

图3为本发明的又一个实施例的示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。