[发明专利]一种基于带权重采样的深度学习算子测试数据生成方法

说明书

一种基于带权重采样的深度学习算子测试数据生成方法，其特征是将一组提前设计的变异方法视作向不同数据取值域的映射，在其中进行预先的蒙特卡罗采样，从而获取各变异方法的有效性并以此为权重进行采样，并最终在兼顾数据多样性的同时更有效地生成深度学习算子测试数据。数据变异方法组合可灵活进行增、删、改，本方法提供的基本变异方法包括：字节、噪声和倒转变异。其中，字节变异指对测试数据的浮点数二进制编码进行字节操作的变异，包括各字节的增加、删除、取反、移位、随机重置；噪声变异是指随机使用各类噪声施加于测试数据；倒转变异是指将测试数据作为分母计算其伪倒数的变异。上述变异基于不同的基本思想，兼顾有效性与多样性。

技术领域

本发明属于深度学习测试领域，特别是深度学习算子准确性问题测试领域。各类深度学习模型的使用者希望通过某种方法测试其模型依赖的深度学习算子是否会出现准确性问题。

背景技术

随着深度学习技术的逐渐成熟和智能应用的需求涌现，各类深度学习模型被提出并广泛应用于各个领域下的各类场景。然而，人们在研究、使用和测试深度学习模型时，往往倾向于关注模型整体功能或流程的正确性和完整性，而忽略其模型背后依赖的特定算子的正确性。事实上，深度学习算子常常会引发一系列准确性问题，从而对模型造成严重的危害和影响，因此，对于深度学习算子的准确性测试是十分有必要的。

不同于传统测试，深度学习算子准确性测试的测试用例生成存在困难，人们无法准确获知有效测试用例的具体特征，因而也无法针对测试用例进行精确设计，只能通过诸如随机采样的方式对于有效的测试用例进行寻找。然而，单纯的均匀随机采样存在许多问题，它往往是极其低效率的，且没有给予一些重要取值区间足够的重视，如：小于1的浮点数。借鉴传统变异测试的思想，对随机生成的测试数据进行变异能够有效提高测试触发准确性问题的概率，但这其中仍然存在无法确定在何时使用何种变异方法的问题。本发明较好地解决了上述问题，不仅提供了较为有效的基本变异方法组并允许其灵活变化，还通过蒙特卡罗方法和带权重采样提出了一种确定如何在何时使用何种变异方法的解决方案。

发明内容

本发明要解决的问题是：深度学习算子准确性测试的测试用例生成难以精确设计，生成效率低下的问题。人们无法准确获知有效测试用例的具体特征，因而也无法针对测试用例进行精确设计，只能通过诸如随机采样的方式对于有效的测试用例进行寻找。然而，单纯的均匀随机采样存在许多问题，它往往是极其低效率的，且没有给予一些重要取值区间足够的重视，如：小于1的浮点数。本发明针对上述问题，设计了一系列测试数据变异方法，并通过蒙特卡罗采样对这些方法进行有效性评价，从而挑选合适的变异方法及对应权重进行带权重的变异数据采样，大大提高了深度学习算子准确性测试的测试用例生成效率、有效性和多样性。

本发明的技术方案为：一种基于带权重采样的深度学习算子测试数据生成方法，其特征是将一组被提前设计的数据变异方法视作向不同数据取值域的映射，并在其中进行预先的蒙特卡罗采样，从而获取各变异方法的有效性并以此为权重带权重地进行采样，并最终达到在兼顾数据多样性的条件下更有效地生成深度学习算子测试数据的目的。数据变异方法组合可根据需要灵活地进行增加、删除和修改，本方法提供的基本数据变异方法包括：字节变异、噪声变异和倒转变异。其中，字节变异是指对测试数据的浮点数二进制编码进行字节操作的变异，操作包括二进制编码各字节的增加、删除、取反、移位、随机重置，支持float32和float16格式编码；噪声变异是指均匀地随机使用高斯噪声或均匀噪声施加于测试数据；倒转变异是指将测试数据作为分母计算其在取值域内的伪倒数的变异。上述变异基于不同的基本思想，如：边界数据更容易引发异常、均匀采样对于小于1的数不利等，兼顾有效性与多样性。该方法分为以下几个步骤：

1)变异方法定义：本发明预定义了几种变异方法作为基本变异组，具体变异方法将在1.1中进行陈述，实际使用时可根据需要添加、减少、修改变异方法，定义该次实践专属的变异方法组。