[发明专利]一种验证MapReduce环境下处理数据正确性的方法和装置有效
| 申请号： | 201410090641.0 | 申请日： | 2014-03-12 |
| 公开（公告）号： | CN104915352B | 公开（公告）日： | 2018-10-02 |
| 发明（设计）人： | 王立 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京三友知识产权代理有限公司 11127 | 代理人： | 党晓林 |
| 地址： | 英属开曼*** | 国省代码： | 开曼群岛;KY |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供了一种验证MapReduce环境下处理数据正确性的方法，包括：为MapReduce源代码加入劫持代码，生成带有劫持代码的数据处理程序；运行带有劫持代码的数据处理程序对输入数据进行数据处理，得到输出数据，组成三元组数据；去除覆盖信息相同的三元组数据，形成监控三元组集合；需要验证处理数据正确性时，将监控三元组集合中的输入数据返回至带有劫持代码的数据处理程序重新进行数据处理，得到输出数据，形成输出数据集合；验证输出数据集合中每一条数据是否正确。本申请提供的验证MapReduce环境下处理数据正确性的方法可以减少验证处理数据正确性的人工成本和实现时间。本申请还提出了一种验证MapReduce环境下处理数据正确性的装置实施例，可实现本申请的方法实施例。 | ||
| 搜索关键词： | 一种 验证 mapreduce 环境 处理 数据 正确性 方法 装置 | ||
【主权项】：
1.一种验证MapReduce环境下处理数据正确性的方法，其特征在于，包括：为MapReduce源代码加入劫持代码，生成带有劫持代码的数据处理程序；运行所述带有劫持代码的数据处理程序对输入数据进行数据处理，所述带有劫持代码的数据处理程序劫持得到输入数据、输出数据，所述数据处理程序记录数据处理过程中代码是否被执行的覆盖信息；设定覆盖信息和对应的输入数据、输出数据为三元组数据；所述带有劫持代码的数据处理程序处理的输入数据为真实数据；去除覆盖信息相同的三元组数据，形成监控三元组集合；在验证处理数据正确性时，将所述监控三元组集合中的输入数据返回至带有劫持代码的数据处理程序重新进行数据处理，所述带有劫持代码的数据处理程序劫持得到输出数据，形成输出数据集合；通过监控三元组集合中的输出数据验证所述输出数据集合中的数据是否正确。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410090641.0/，转载请声明来源钻瓜专利网。
