[发明专利]基于多比特神经网络非线性量化的深度神经网络压缩方法在审
| 申请号： | 201910722230.1 | 申请日： | 2019-08-06 |
| 公开（公告）号： | CN110633787A | 公开（公告）日： | 2019-12-31 |
| 发明（设计）人： | 纪荣嵘;林绍辉;李与超;颜晨倩;李慧霞 | 申请（专利权）人： | 厦门大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04 |
| 代理公司： | 35200 厦门南强之路专利事务所(普通合伙) | 代理人： | 马应森 |
| 地址： | 361005 *** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 基于多比特神经网络非线性量化的深度神经网络压缩方法，涉及深度神经网络的压缩。包括以下步骤：1)对预训练的模型权重进行非线性变换；2)设置量化比特位；3)计算每层的模型权重各自的尺度因子和偏置因子；4)通过上述计算出来的因子计算对应的量化权重。能够压缩经典的VGG‑16和ResNet‑50模型，在压缩模型达到5.4倍的情况下，模型的基本没有精度损失。量化后的模型可以直接嵌入到手机或移动设备端，大大加速负荷的原始模型的计算量和同时压缩高度冗余的原始模型的存储量，使得高性能深度学习模型植入移动嵌入式设备端，在移动智能识别、云计算及无人驾驶等领域存在大量的应用前景。 | ||
| 搜索关键词： | 压缩 神经网络 权重 原始模型 移动嵌入式设备 量化 非线性变换 非线性量化 量化比特位 移动设备端 尺度因子 高度冗余 加速负荷 精度损失 无人驾驶 移动智能 因子计算 存储量 计算量 云计算 偏置 手机 植入 嵌入 应用 学习 | ||
【主权项】：
1.基于多比特神经网络非线性量化的深度神经网络压缩方法，其特征在于包括以下步骤：/n1)对预训练的模型权重进行非线性变换；/n2)设置量化比特位；/n3)计算每层的模型权重各自的尺度因子和偏置因子；/n4)通过上述计算出来的因子计算对应的量化权重。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门大学，未经厦门大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910722230.1/，转载请声明来源钻瓜专利网。
- 同类专利
- 一种实现卷积运算的装置及方法-201810866520.9
- 刘凯;王奥博;谢阳杰;罗会斌;鲁芳敏;毕舒展;陈少杰 - 华为技术有限公司
- 2018-08-01 - 2020-02-14 - G06N3/04
- 本发明实施例公开一种实现卷积运算的装置及方法，本发明涉及计算机技术领域，在本发明实施例中，数据分配模块从存储模块存储的特征图数据或上一层的卷积结果中获取特征图矩阵，根据卷积步长将预设大小的两个特征图矩阵进行组合拼接获得拼接特征图矩阵，第一卷积模块根据从存储模块存储的权值中读取的卷积核和拼接特征图矩阵确定卷积结果，因此，每次可以实现两个特征图矩阵与一个卷积核的卷积，可以减少卷积的次数，从而可以提高数据处理效率。
- 卷积神经网络的训练及使用方法、设备及存储介质-201810869507.9
- 赵颖 - 株式会社理光
- 2018-08-02 - 2020-02-14 - G06N3/04
- 一种卷积神经网络的训练方法及使用方法、设备及存储介质。该训练方法包括：利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。
- 属性预测模型训练方法、属性预测方法及电子设备-201910969505.1
- 原发杰;何向南;徐哲钊;熊健;孔蓓蓓;张立广;熊义林 - 腾讯科技(深圳)有限公司
- 2019-10-12 - 2020-02-14 - G06N3/04
- 本公开提供了一种属性预测模型训练方法、属性预测方法、模型、装置、介质以及电子设备，主要涉及人工智能中的迁移学习技术领域。该方法包括获取源域数据，所述源域数据包括样本对象在源域的行为序列；利用所述源域数据对初始神经网络进行训练以得到源域行为表征模型；冻结所述源域行为表征模型的参数，并在所述源域行为表征模型中插入微调网络层；获取目标域数据，所述目标域数据包括样本对象在源域的行为序列以及在目标域的属性标签；利用所述目标域数据对带有微调网络层的源域行为表征模型进行训练以得到针对所述目标域的属性预测模型。该方法可以有效地将源域中的行为特征迁移至目标域中，可以缩减参数调整数量并提高模型训练效果。
- 基于迁移学习的深度残差卷积神经网络的自适应压缩方法-201910988909.5
- 姜宏旭;李浩;李波;黄双喜;李晓斌 - 北京航空航天大学
- 2019-10-17 - 2020-02-14 - G06N3/04
- 本发明公开的一种基于迁移学习的深度残差卷积神经网络模型自适应压缩方法，通过原网络模型结构的网络层组成分析，对网络结构进行分组，构建结构相似但体积更小的轻量化模型，提取原网络模型与轻量化模型的结构信息，再根据原网络模型的网络层分组，比较轻量化模型与原网络模型各组输出的特征图区别，二者共同指导轻量化模型进行阶段性参数更新，直至轻量化模型的各分组与原网络模型近似，其次将原网络模型的输出分类信息进行分类软化，诱导轻量化模型进行训练，最终轻量化模型继承原网络模型的检测性能。本发明适用于FPGA计算的深度卷积深度网络轻量化的压缩算法，节省FPGA上的硬件资源消耗，保证模型推理精度的同时提高了模型推理速度。
- 一种通道与空间融合感知的深度学习目标检测方法-201911048207.5
- 吴林煌;杨绣郡;范振嘉;陈志峰 - 福州大学
- 2019-10-30 - 2020-02-14 - G06N3/04
- 本发明涉及一种通道与空间融合感知的深度学习目标检测方法，首先构建通道与空间融合感知模块，并将其嵌入深度神经网络架构中，然后利用改造后的深度神经网络架构对目标图片进行目标检测；其中所述通道与空间融合感知模块的构建具体为：首先对原始输入的特征图进行通道感知，接着进行空间感知的级联。本发明其既不加深网络深度或宽度，也不引入额外空间向量，同时保证了实时性和精度。
- 一种训练方法、特征提取方法、装置及电子设备-201911050651.0
- 李怀松;潘健民 - 支付宝(杭州)信息技术有限公司
- 2019-10-31 - 2020-02-14 - G06N3/04
- 本说明书实施例提供一种训练方法、特征提取方法、装置及电子设备。训练方法包括：将样本对象对应目标分类下的第一短期特征集输入至循环神经网络，得到第二短期特征集，其中，第一短期特征集中的各短期特征对应有相同的第一时间粒度。将第二短期特征集按照时间顺序组合成长期特征集，其中，长期特征集中的各长期特征对应有相同的第二时间粒度，第二时间粒度大于第一时间粒度。将长期特征集输入至卷积神经网络，得到目标对象对应所述目标分类下的目标特征集。将目标特征集输入至用于识别目标分类的分类模型，以基于所述分类模型针对样本对象的识别结果，对循环神经网络和卷积神经网络进行训练。
- 神经网络模型推理方法、装置、电子设备及可读介质-201911064983.4
- 杨嘉华;王胜 - 广东三维家信息科技有限公司
- 2019-11-01 - 2020-02-14 - G06N3/04
- 本发明提供了一种神经网络模型推理方法、装置、电子设备及可读介质，涉及神经网络的技术领域，其中方法包括获取待识别图片；采用流水线方法对待识别图片进行预处理；将预先训练好的神经网络模型加载到神经网络推理加速引擎中；采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。本发明采用流水线方法对图片预处理进行并行处理，充分利用了CPU资源，提高了推理性能，采用神经网络推理加速引擎推理加速引擎,提升了神经网络模型推理速度。
- 一种基于生成对抗网络的WIFI室内定位指纹库的构建方法-201711115293.8
- 李奇越;曲恒;黎洁;张凯;孙伟;周娜娜 - 合肥工业大学
- 2017-11-13 - 2020-02-14 - G06N3/04
- 本发明公开了一种基于生成对抗网络的WIFI室内定位指纹库的构建方法，包括：1、通过测量得到衡量信道情况的信道状态信息，即CSI数据；2、分别将每个位置的CSI数据处理为对应的幅值相位特征图初步构建指纹库；3、将得到的幅值相位特征图送入生成对抗网络中训练生成更多的幅值相位特征图，从而构建样本充足的WIFI室内定位指纹库。本发明利用生成对抗网络生成不同位置的幅值相位特征图的方法减少了信号采样数量，解决了CSI数据不足时无法有效建库的问题，提高了测量效率、简便易行。
- 通过具有对抗强化学习的动作成形来进行模仿学习-201910679383.2
- T-H·帕姆;G·德马吉斯特里斯;D·J·R·阿格拉万特;立花隆 - 国际商业机器公司
- 2019-07-26 - 2020-02-11 - G06N3/04
- 本公开涉及通过具有对抗强化学习的动作成形来进行模仿学习。提供了一种用于获得多个坏的演示的计算机实现的方法、计算机程序产品和计算机处理系统。所述方法包括由处理器设备读取拥护者环境。所述方法还包括由所述处理器设备通过使用所述拥护者环境进行强化学习来训练使任务失败的多个对抗代理。所述方法还包括由所述处理器设备通过在所述拥护者环境上扮演所述经训练的对抗代理来收集所述多个坏的演示。
- 一种基于组卷积神经网络使用共享卷积核的改进方法-201910858423.X
- 张萌;段斌;李国庆 - 东南大学
- 2019-09-11 - 2020-02-11 - G06N3/04
- 本发明公开了一种基于组卷积神经网络使用共享卷积核的改进方法，在一般的分组卷积中每个组都占用了与其他组不同的卷积核，这对硬件实现上带来许多不变。针对这个问题，提出了共享卷积核组卷积(KSGC)的概念，即将输入的通道平均分成多个组，并且对每个组分别进行卷积操作，特别之处在于，这个输入通道中的所有组都使用的是同一个卷积核进行卷积，在此基础上，还将组与组之间有信息交流的组卷积的卷积核改为共享的进行测试。这种共享卷积核组网络，使用了更少的参数，提高了卷积神经网络的计算效率，进一步解决了神经网络参数复杂度过高的问题，在硬件上也减少了逻辑资源消耗。
- 一种基于哈希学习的神经网络压缩方法及系统-201910892713.6
- 沈明珠;徐毅;刘祥龙 - 北京航空航天大学
- 2019-09-20 - 2020-02-11 - G06N3/04
- 本发明公开了一种基于哈希学习的神经网络压缩方法及系统。该方法包括如下步骤：在前向传播中，将每个神经网络层的输入特征图和权重矩阵通过投影矩阵进行压缩，计算输出特征图；在后向传播中，根据输出特征图计算神经网络的损失函数，并通过损失函数计算每层的输入特征图的梯度值、权重矩阵的梯度值和投影矩阵的梯度值；根据每层的权重矩阵的梯度值以及每层的投影矩阵的梯度值分别对权重矩阵和投影矩阵进行更新。该方法在随机投影的基础上增加哈希学习的部分，通过同时训练权重矩阵和投影矩阵的方法来全局最小化损失函数，从而增加算法的分类准确率，达到可接受的微小性能退化的目标，具有很高的灵活性。
- 一种基于交叉生成复杂神经网络的方法及系统-201910952242.3
- 朱徽;安竹林;徐勇军;胡小龙;李超 - 中国科学院计算技术研究所
- 2019-10-09 - 2020-02-11 - G06N3/04
- 本发明提供一种生成复杂神经网络的方法，包括：1)从已有的神经网络结构的种群中选择具有高适应度的两个作为父代个体，其中，所述两个父代个体之间具有以卷积层为单位的异构结构；2)将一个卷积层作为最小的操作单位，对所述两个父代个体执行交叉操作以得到子代个体。本发明可以根据已有网络结构方面的经验，有方向性地改变神经网络结构。本发明在不对卷积神经网络进行任何附加训练的情况下，可以实现功能保持，大大节省计算代价。如果对卷积神经网络进行额外训练，可以体现出新产生的神经结构表现更加优秀。在同源结构进行融合的过程中，本发明将已有参数和结构作为指导，能够迅速实现基于功能保持的神经网络结构搜索。
- 一种神经网络的构建方法及装置、存储介质-201910995551.9
- 初祥祥;许瑞军;张勃;李吉祥;王斌 - 北京小米智能科技有限公司
- 2019-10-18 - 2020-02-11 - G06N3/04
- 本公开是关于一种神经网络的构建方法及装置、存储介质。该方法包括：确定第n网络层所包含的备选子结构的网络参数，其中，n为小于或等于N的正整数，N为超网络所包含的网络层的层数；根据第m个备选子结构的网络参数，单独确定第m个所述备选子结构的权重系数；m小于或等于M，其中，M为所述第n网络层所包含的所述备选子结构的个数，M为正整数；根据所述权重系数，从所述第n网络层中选择至少一个所述备选子结构作为目标子结构；基于选择的所述至少一个目标子结构，构建目标神经网络的第n网络层。通过本公开实施例提供的技术方案，能够在超网络的各网络层中分别选择多个目标子结构，从而构建多样化的目标神经网络。
- 一种基于强化学习的网络化多智能体系统分布式优化控制方法-201910997409.8
- 李金娜;张一晗 - 辽宁石油化工大学
- 2019-10-21 - 2020-02-11 - G06N3/04
- 一种基于强化学习的网络化多智能体系统分布式优化控制方法，属于系统控制方法技术领域，所述方法为积分强化学习（IRL）给出具有积分器的Bellman方程，非策略（Off‑policy）方法应用不同控制策略作用控制系统，增加数据探究，通过迭代学习得到最优控制策略，再将图博弈与Off‑policy和IRL融合，给出系统模型完全未知情况下，保证网络化多智能体一致性；具体步骤如下：(1)基于IRL和Off‑policy的优化控制问题求解，(2)基于近似策略迭代分布式近似最优控制策略设计；(3)采用仿真软件和多机械手控制系统物理实验平台，根据仿真和物理实验结果，对理论方法和控制技术做相应调整。
- 一种危化品车辆运输状态自学习预警模型的搭建方法-201910999064.X
- 张露 - 衢州学院
- 2019-10-21 - 2020-02-11 - G06N3/04
- 本发明公开了一种危化品车辆运输状态自学习预警模型的搭建方法，包括：获取危化品车辆运输状态的多维度和多类型监测样本数据；参照深度置信网络的构架，在受限玻尔兹曼机中加入稀疏表示，形成稀疏受限玻尔兹曼机；基于所述稀疏受限玻尔兹曼机构建稀疏深度置信网络分类模型，结合所述危化品车辆运输状态的多维度和多类型监测样本数据，搭建基于稀疏深度置信网络的危化品车辆运输状态自学习预警模型。本发明采用合理的预警判断规则和预警手段，能在发现设各隐患时，及时预警，及时指导救援工作的开展。
- 一种神经网络增量学习方法及装置-201911014149.4
- 王明辉;张洋;张鸿源 - 新华三信息安全技术有限公司
- 2019-10-23 - 2020-02-11 - G06N3/04
- 本发明提供一种神经网络增量学习方法及装置，该方法包括：接收待处理报文；对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；以及，保存部分待处理报文，并基于所述部分待处理报文，利用入侵防御系统IPS软件，识别所述部分待处理报文对应的应用分类；基于所述部分待处理报文对应的应用分类，以及所述部分待处理报文的数据流特征，生成训练样本；利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。应用本发明实施例可以保证网络模型的预测准确率。
- 神经网络的网络结构优化器的训练方法、装置及存储介质-201911023909.8
- 郑胤;国雍;魏秉政;黄汉煜;黄彦;王骕;路彦雄;林乐宇 - 腾讯科技(深圳)有限公司
- 2019-10-25 - 2020-02-11 - G06N3/04
- 本发明提供了一种神经网络的网络结构优化器的训练方法、装置、电子设备及存储介质；方法包括：通过所述网络结构优化器对神经网络的网络结构进行特征提取，得到对应所述网络结构的特征信息；通过所述网络结构优化器对所述特征信息进行预测，确定多个针对所述网络结构的优化方式；根据所述针对所述网络结构的优化方式对所述神经网络的网络结构进行更新，得到优化后的网络结构；对所述优化后的网络结构进行性能评估，并根据评估结果更新所述网络结构优化器的参数。通过本发明，能够根据网络结构优化器优化神经网络的网络结构，节约计算成本。
- 用于优化神经网络架构搜索的方法和装置-201911024465.X
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2019-10-25 - 2020-02-11 - G06N3/04
- 本公开的实施例公开了用于优化神经网络架构搜索的方法和装置。该方法的一具体实施方式包括：基于预定的优化器集合和学习率衰减方案集合生成搜索空间；基于搜索空间生成优化方案序列；基于优化方案序列执行训练步骤：基于优化方案序列训练待搜索的神经网络得到奖励；根据奖励更新优化方案序列；若训练次数达到预定上限或奖励不再增加达到预设的轮次，则结束训练并输出优化方案序列对应的优化器和学习率衰减方案；否则，基于调整后的优化方案序列继续执行上述训练步骤。该实施方式能够使得模型快速收敛，同时可以得到较优的模型精度。
- 基于自编码器的光谱降维方法和装置-201911027981.8
- 刘畅;王广平;王静 - 北京环境特性研究所
- 2019-10-28 - 2020-02-11 - G06N3/04
- 本发明涉及一种基于自编码器的光谱降维方法、装置、设备和计算机可存储介质，其中方法包括以下步骤：基于高光谱图像数据生成输入向量；使用所述输入向量对自编码器模型进行训练，直至模型收敛；将模型收敛时隐藏层的输出数据作为压缩后的光谱图像。本发明利用自编码器可以在尽量不损失信息的情况下对高光谱图像进行降维处理，压缩效果超过传统方法，解决了高光谱图像波段间冗余信息大的问题。
- 基于分解和剪枝的卷积神经网络压缩方法、系统、装置-201911029615.6
- 胡卫明;刘雨帆;阮晓峰;李兵;原春锋;潘健 - 中国科学院自动化研究所
- 2019-10-28 - 2020-02-11 - G06N3/04
- 本发明属于人工智能领域，具体涉及一种基于分解和剪枝的卷积神经网络压缩方法、系统、装置，旨在解决采用低秩近似分解或结构化稀疏剪枝进行卷积神经网络压缩，导致压缩力度较小的问题。本系统方法包括将每个待压缩的卷积层后面添加一层系数矩阵表示层；通过低秩近似分解算法对系数矩阵表示层进行稀疏处理，并根据系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理；采用结构化稀疏剪枝方法对分解后的系数矩阵表示层进行稀疏处理，并根据系数矩阵表示层稀疏的位置对其滤波器进行剪枝处理；对稀疏剪枝处理后的卷积神经网络进行训练。本发明通过将低秩近似分解和结构化稀疏剪枝两种方法融合，解决了单一方法引起的缺陷，提高了压缩力度。
- 网络结构的确定方法、装置和电子系统-201911034389.0
- 侯鹏飞 - 北京迈格威科技有限公司
- 2019-10-28 - 2020-02-11 - G06N3/04
- 本发明提供了一种网络结构的确定方法、装置和电子系统，该方法从预设的网络结构空间中划分出第一集合和第二集合；按照预设概率从第一集合和第二集合中选择目标网络结构；在网络结构空间对应的综合网络中，逐一确定每个目标网络结构，并基于预设的训练样本训练确定出的目标网络结构，得到每个目标网络结构的性能评分；根据该性能评分更新第二集合中的网络结构；基于第二集合中的网络结构确定最终的网络结构。本发明在综合网络中以共享权重的方式评估目标网络结构，同时将性能较好的网络结构更新至第二集合，以减少由于共享权重对网络结构的性能评估造成偏差的问题，提高了网络结构性能评估的准确性，从而可得到性能更好的网络结构。
- 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法-201911050280.6
- 钱慧;林秀男;郑镇洪;刘狄 - 福州大学
- 2019-10-31 - 2020-02-11 - G06N3/04
- 本发明涉及一种面向可编程逻辑器件移动终端的小型神经网络的实现方法，包括以下步骤：步骤S1：输入图像经过2层的卷积层后得到特征图；步骤S2：每次卷积后的特征图再经过激活函数进行非线性映射；不同卷积层之间采用步长为2的
- 基于卷积神经网络的光热电场太阳直接法向辐射预测方法-201911117657.5
- 王兴贵;李锦键;王海亮;郭群;杨维满;李晓英;郭永吉 - 兰州理工大学
- 2019-11-15 - 2020-02-11 - G06N3/04
- 基于卷积神经网络的光热电场太阳直接法向辐射强度预测方法，利用深度学习中的CNN设计了一种CSP电场的DNI预测方法，以达到克服传统预测方法的缺点，且较为准确地得到预测值的目的，从而使CSP电站易于调度，及进一步减轻新能源发电并网时对现有电力系统造成的冲击。首先对太阳直接法向辐射的特点进行分析，根据得到的特点选用卷积神经网络，并对网络中的参数进行修改与调试，最终得到一种预测方法，以降低光热电站接入电网时带来的消极影响。本预测方法可以较为准确地预测光热电场的太阳直接法向辐射强度。
- 确定可移动的设备的位置-201880020542.1
- 王森;罗纳德·克拉克;尼基·特里戈尼 - 牛津大学创新有限公司
- 2018-01-17 - 2020-02-11 - G06N3/04
- 一种确定包括摄像头的可移动的设备的位置的计算机执行的方法。该方法包括以下步骤：使用摄像头捕获一段时间内的图像序列；对于来自图像序列的连续图像对，使用第一神经网络确定表明设备的运动的特征，该设备的运动在捕获该图像对的第一图像的时间与捕获该图像对的第二图像的时间之间；对于连续图像序列，使用第二神经网络从由第一神经网络确定的特征确定表明设备的位置的特征；以及对于连续图像序列，从由第二神经网络确定的特征确定设备的位置。
- 基于脉动阵列的神经网络处理装置-201880038645.0
- 高明明;杨康;谷骞 - 深圳市大疆创新科技有限公司
- 2018-08-14 - 2020-02-11 - G06N3/04
- 提供一种神经网络处理装置，该装置包括：脉动阵列；控制单元，用于发送指示卷积操作、平均池化操作或最大化操作的控制信号；脉动阵列中各个计算单元用于，接收控制信号、输入特征数据、权重以及来自沿脉动阵列的第二维度的上一级计算单元的第一中间处理结果；根据控制信号，对输入特征数据、权重以及第一中间处理结果进行相关操作，获得第二中间处理结果；向沿着第二维度的下一级计算单元发送第二中间处理结果；向沿着第一维度的下一级计算单元发送输入特征数据；处理单元，用于接收控制信号以及脉动阵列输出端的计算单元输出的第二中间处理结果，根据控制信号对第二中间处理结果进行相关操作，获得神经网络输出结果。可以降低硬件开销。
- 卷积计算单元、计算方法及神经网络计算平台-201810837332.3
- 康君龙;李於彬;谢东亮 - 北京深鉴智能科技有限公司
- 2018-07-26 - 2020-02-07 - G06N3/04
- 公开了一种卷积计算单元、计算方法及神经网络计算平台。该单元包括：特征图预处理模块，用于对输入的特征图矩阵d进行B
- 一种神经网络训练系统及显示数据的方法-201810846825.3
- 应凌楷;金彬;林丹峰;陈杰 - 杭州海康威视数字技术股份有限公司
- 2018-07-27 - 2020-02-07 - G06N3/04
- 本申请是关于一种神经网络训练系统及显示方法，属于大数据处理领域。所述系统包括：计算装置、上下文池、多维呈现装置、感知交互装置和云存储装置；感知交互装置，用于接收训练命令，训练命令携带待训练神经网络的网络标识；上下文池，用于根据训练命令分配用于训练的计算资源，获取网络标识对应的待训练神经网络；计算装置，用于从云存储装置中获取训练数据，根据训练数据，使用计算资源训练待训练神经网络，获取向待训练神经网络输入的数据和训练待训练神经网络产生的数据，得到数据集合；多维呈现装置，用于确定数据集合中的每个数据对应的呈现方式，根据每个数据对应的呈现方式分别显示每个数据。本申请能够解决显示维度比较单一的问题。
- 数据处理装置、方法和电子设备-201910398488.0
- 唐剑;刘宁;徐志远;张法朝;林航东 - 北京嘀嘀无限科技发展有限公司
- 2019-05-14 - 2020-02-07 - G06N3/04
- 本申请实施例提供了一种数据处理装置、方法和电子设备，其中，该方法包括：为当前初始深度学习模型生成当前次压缩的压缩因子，利用压缩因子对当前初始深度学习模型进行压缩处理；将当前次压缩后的初始深度学习模型作为当前初始深度学习模型，执行为当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；基于最终压缩后的初始深度学习模型和历史驾驶数据，生成用于识别驾驶状态的深度学习模型，将用于识别驾驶状态的深度学习模型应用于移动终端。本申请实施例在提高了深度学习模型的压缩效率的同时，实现将压缩后的深度学习模型应用于移动终端。
- 基于循环神经网络的光伏电站短期功率预测方法-201910910254.X
- 陈志聪;陈辉煌;吴丽君;程树英;林培杰 - 福州大学
- 2019-09-25 - 2020-02-07 - G06N3/04
- 本发明涉及一种基于循环神经网络的光伏电站短期功率预测方法，包括如下步骤：步骤S1：根据待预测日的天气类型，得到对应的NWP气象参数；步骤S2：采集待预测日之前的若干天历史数据；步骤S3:对历史数据进行处理，并将处理后的历史数据作为训练数据集；步骤S4：采用循环神经网络对训练数据集进行学习，并用随机梯度下降法调整网络的参数，得到预测模型；步骤S5：将待预测日的NWP气象参数作为预测模型的输入，得出预测的功率值。本发明能够显著提高光伏电站短期功率预测的精度和可靠性。
- 一种对任意深度神经网络优化其运行功能时所需存储的方法-201910980066.4
- 杨旭光;林森;孙凌阁 - 北京芯启科技有限公司
- 2019-10-15 - 2020-02-07 - G06N3/04
- 提供一种对任意深度神经网络优化其运行时所需存储的方法。将AutoML探索得到的任意网络转化为有向图，对有向图分析后，将每个神经网络层输入、输出所需要的内存管理，都转化为简单的对偏移地址的管理，从而达到静态分配、高效复用、灵活操作的目的。
- 专利分类
