[发明专利]通过构造接口的带宽控制来增强DNN模块的处理性能

说明书

具有DNN模块的示例性计算环境可以维持一个或多个带宽节流机制。说明性地，第一节流机制可以指定在协作构造组件(例如，数据总线)上的事务之间等待的周期数目。说明性地，第二节流机制可以是事务计数限制器，该事务计数限制器操作性地设定在给定事务序列期间要被处理的事务数目的阈值，并且限制诸如飞行中的多个事务的事务数目不超过所设定的阈值。在说明性操作中，在执行这两个示例性的所计算的节流参数时，平均带宽使用和峰值带宽使用可以被限制。操作性地，利用该构造带宽控制，DNN的处理单元被优化，以跨每个事务周期处理数据，从而得到增强的处理和较低的功耗。

背景技术

深度神经网络(“DNN”)根据生物神经系统(诸如，人脑)中的信息处理和通信模式被松散地建模。DNN可以用于解决复杂的分类问题，例如但不限于对象检测、语义标记和特征提取。因此，DNN形成了诸如计算机视觉、语音识别和机器翻译等许多人工智能(“AI”)应用的基础。DNN可以在许多这些领域中匹配或超越人类的准确度。

DNN的高级别性能源于它们能够在使用大数据集上的统计学习来获得输入空间的有效表示之后，从输入数据中提取高级别特征。然而，DNN的优越性能以高计算复杂性为代价。高性能通用处理器(诸如，图形处理单元(“GPU”))通常用于提供许多DNN应用所需的高级别计算性能。

虽然如GPU的通用处理器可以提供用于实现DNN的高级别计算性能，但是这些类型的处理器通常不适合用于在低功耗是关键的计算设备中长时间执行DNN操作。例如，诸如GPU的通用处理器可能不适合用于在电池供电的便携式设备(例如，智能电话或备用/虚拟现实(“AR/VR”)设备)中执行长时间运行的DNN任务，在这些便携式设备中，需要降低的功耗来延长电池寿命。

还可以在非电池供电的设备(例如，诸如以太网供电(“POE”)的安全相机)中，在执行连续DNN任务(诸如，检测人类移动)的同时降低功耗。在该特定示例中，POE交换机可以仅提供有限量的功率，并且诸如安全相机的POE设备中的降低的功率可以使POE交换机的功耗和成本降低。

已经开发了可以提供高性能DNN处理同时与通用处理器相比降低功耗的专用集成电路(“ASIC”)。然而，尽管在该领域取得了进步，但仍然需要提高执行DNN处理的ASIC的性能且降低ASIC的功耗，特别是对于在低功耗是关键的计算设备中的使用。

当前的实践提供了各种机制来管理存储器和/或处理，以确保针对示例性计算环境的共享资源的请求组件之间的平衡。通过当前的实践，这样的存储器/处理器管理不足以优化每个可用处理元件(例如，协作DNN芯片的神经元)的整体效用。此外，当前的实践关注于系统的整体处理/存储器管理，而不考虑DNN芯片的整体功耗和处理性能。

关于这些和其他技术挑战，提出了本文的公开内容。

发明内容

公开了一种神经网络模块，该神经网络模块可以通过确保处理单元的均匀效用来增强模块的处理单元的处理性能，以及通过增强的存储器管理降低功耗。本文未具体提及的其他技术益处也可以通过所公开的主题的实现来达到。

为了达到上面简要提及的技术益处，说明性地，在具有DNN模块的示例性计算环境中，DNN的内部数据传递组件可以维持一个或多个带宽节流机制。在说明性实现中，第一节流机制可以指定在协作构造组件(例如，数据总线)上的事务之间等待的周期数目。举例来说，如果在事务之间等待的周期数目的值被设定为零，则在事务之间不插入间隙，并且数据传递可以以构造的最大传递速率发生。在另一说明性实现中，第二节流机制可以是事务计数限制器，事务计数限制器操作性地设定在给定事务序列期间要被处理的事务数目的阈值，并且限制诸如在飞行中的多个事务的事务数目不超过所设定的阈值。在说明性操作中，在执行这两个所计算的节流参数时，平均带宽使用和峰值带宽使用可以被限制。在说明性操作中，可以对示例性计算环境的一个或多个所选择的协作存储器组件执行这些节流参数。在说明性操作中，以一定速率向诸如神经元的一个或多个协作处理单元提供数据，以优化其效用来避免神经元在事务处理序列期间空闲。事务处理周期可以被认为是在所选择的时间单位期间由示例性计算环境处理的事务的数目。