[发明专利]MR文件应用在HDFS的实现方法和装置

摘要

本申请提供了MR文件应用在HDFS的实现方法和装置。本申请中，MR服务器并非单独将一个个MR文件上传给HDFS(HDFS客户端)，而是将同一周期内的所有MR文件汇总在一个汇总文件(形成一个大数据文件)上传给HDFS(HDFS客户端)，这契合了HDFS本身的属性，保证了Hadoop的性能和扩展性。

主权项

一种测量报告MR文件应用在分布式文件系统HDFS的实现方法，其特征在于，该方法包括：MR文件服务器接收MR文件；MR文件服务器判断所述MR文件的采集时间与本地未完成的汇总文件中MR文件的采集时间是否为同一周期，所述同一周期包括但不限于同一天、同一周、或者同一个月；如果是，将接收的MR文件汇总至所述汇总文件中并解析MR文件形成对应的MR文件索引块，将所述MR文件索引块存入本地索引文件中；如果否，关闭所述汇总文件，将所述汇总文件作为已完成的汇总文件上传至HDFS客户端，在本地重新创建一个标识为未完成的汇总文件，将接收的MR文件汇总至该重新创建的汇总文件中并解析MR文件形成对应的MR文件索引块，将所述MR文件索引块存入本地索引文件中。