[发明专利]在低功率控制器上执行遗传算法

说明书

本申请案涉及在低功率控制器上执行遗传算法。一种方法包含从多个模型选择模型的子集。所述多个模型是基于遗传算法生成且对应于所述遗传算法的第一时期。所述多个模型中的每一者包含代表神经网络的数据。所述方法包含关于所述子集的至少一个模型执行所述遗传算法的至少一个遗传操作以生成可训练模型。所述方法包含确定与先前反向传播迭代相关联的改进率。所述方法包含基于所述改进率选择所述可训练模型或先前可训练模型中的一者作为所选择的可训练模型。所述方法包含通过训练所述所选择的可训练模型生成经训练模型。所述方法包含将所述经训练模型作为输入添加到所述第一时期之后的所述遗传算法的第二时期。

技术领域

本发明涉及遗传算法，特定来说，涉及低功率控制器上的遗传算法。

背景技术

计算机通常用于解决复杂的定量及定性问题。对于涉及较大数据集的问题，通常会雇用经过专门训练的专业人员，被称数据科学家。数据科学家解译数据集并构造可由计算机处理以解决问题的模型。然而，对许多组织来说，雇用数据科学家的成本过高。

对于某些类型的问题，先进的计算技术(例如遗传算法或反向传播)可用于开发一模型(例如神经网络)，其在准确性方面比得上可由数据科学家创建的模型。然而，遗传算法可采用大量迭代来收敛于可接受的神经网络，且当对较大数据集建模时或当神经网络包含大量节点、连接或层时反向传播可能较慢。

在真实世界应用中，神经网络通常必须基于大量数据进行训练。处理此大量数据可能超过了某些控制器或处理器(例如“低功率”控制器或处理器)的能力。能够处理用于神经网络训练的大量数据的专用处理器可为昂贵的且耗电量较大。

发明内容

本申请案描述自动化模型建立系统及方法，其利用遗传算法及选择性反向传播生成神经网络且以与功率及存储器约束降低的低功率硬件(例如通常并入于传感器中的类型的控制器/处理器)可兼容的方式训练神经网络。所描述的自动化模型建立技术可使普遍方法能够生成可适用于回归、分类及强化学习问题的神经网络。如本文描述那样组合遗传算法与选择性反向传播可使得能够生成神经网络，所述神经网络在可接受准确度下及在比单独使用遗传算法或反向传播少的时间内对特定数据集建模。

揭示用以实现在低功率硬件上执行的各种调适。举例来说，存储器使用情况及功耗可通过筛选输入数据(例如从传感器接收的数据及/或在传感器处测量的数据)及使用经筛选数据(而非全部数据)作为训练数据来训练神经网络或其它模型而降低。为了说明，可选择性地丢弃相对类似于已在训练数据集中的数据点的数据点(例如输入数据点)。输入数据可进行分批处理(例如实时或近实时)以在神经网络训练期间减小最大瞬时存储器占据面积。反向传播(或其它优化过程)可通过选择性地更新具有相对较大误差比重的神经网络节点的连接权重更快地执行(例如，借此降低功耗)。在反向传播期间可能发生的问题(例如局部极小值及不收敛的权重向量)可通过监测改进率并且在检测到低改进率的情况下选择性地“回滚(rolling back)”一些反向传播迭代而最小化或避免。

作为连同优化使用遗传算法的说明性非限制性实例，考虑具有分别周期性地收集客厅(L)、餐厅(D)、主卧(M)及客卧(G)的温度读数的四个温度传感器的住宅。在此实例中，数据集可包含四个列，其中每一列对应于来自特定房间中的特定传感器的温度读数，且其中每一行对应于四个传感器获取温度读数的特定时间。在一些实例中，数据集的每一行对应于向量空间中的数据点。可能有意思的是，在给定另外三个房间(例如D、M及G)中的温度的情况下预测房间中的一个房间(例如L)中的温度。神经网络可适于此问题，其中神经网络将D、M及/或G的温度作为输入节点且将L的温度作为输出节点。举例来说，给定D、M及/或G的温度的输入值，在90％准确度下预测L的温度的输出值的神经网络可为可接受的解。