[发明专利]模型训练方法及计算系统有效
| 申请号： | 202110827079.5 | 申请日： | 2021-07-21 |
| 公开（公告）号： | CN113657577B | 公开（公告）日： | 2023-08-18 |
| 发明（设计）人： | 杨健邦;陈榕;王磊;尹强;于文渊;周靖人 | 申请（专利权）人： | 阿里巴巴达摩院（杭州）科技有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06V10/774;G06V10/82 |
| 代理公司： | 北京太合九思知识产权代理有限公司 11610 | 代理人： | 刘戈;张爱 |
| 地址： | 310023 浙江省杭州市余杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例提供一种模型训练方法及计算系统。在本申请实施例中，将数据量较小的图拓扑结构数据存放到采样用并行处理单元，而数据量较大的图顶点特征数据存放到处理单元的内存中。利用并行处理单元的高速计算性能对图拓扑结构数据进行采样，提高了图采样效率，处理单元可基于采样用并行处理单元采样的子图的拓扑结构数据中的顶点标识，从内存存储的图顶点特征数据中获取子图的顶点特征数据；训练用并行处理单元可利用子图的拓扑结构数据和顶点特征数据进行图神经网络训练。对于训练用并行处理单元来说，图采样效率提高，可降低训练用并行处理单元等待采样结果的时间，有助于提高训练用并行处理单元利用率。 | ||
| 搜索关键词： | 模型 训练 方法 计算 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴达摩院（杭州）科技有限公司，未经阿里巴巴达摩院（杭州）科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110827079.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种置换法沉钴提纯粗制氢氧化钴方法
- 下一篇：一种闪存稳定性运行的方法及装置
- 同类专利
- 车速控制硬化神经网络创建及车速控制方法、装置-202310416839.2
- 刘建伟 - 西安爱芯元智科技有限公司
- 2023-04-18 - 2023-10-27 - G06N3/04
- 本申请提供了一种车速控制硬化神经网络创建及车速控制方法、装置。其中，该车速控制硬化神经网络创建方法包括：基于初始参数值训练原始神经网络，所述初始参数值通过车辆的线性动力学方程确定；对训练后的神经网络进行低比特量化处理；将处理后的神经网络载入特定硬件设备进行硬化，以得到车速控制硬化神经网络。本实施例通过对训练后的神经网络进行低比特量化处理，能够有效降低该神经网络的计算量、参数量以及内存消耗，进而能够降低了该神经网络的计算消耗。另外，对处理后的神经网络进行硬化处理，以形成车速控制硬化神经网络，该硬化神经网络可以提升计算效率，提高该车速控制硬化神经网络的计算速度。
- 模型量化方法、装置、设备及存储介质-202311000822.5
- 黄雅凤;杨豪 - 苏州轻舟智航智能技术有限公司
- 2023-08-09 - 2023-10-27 - G06N3/04
- 本申请实施例提供一种模型量化方法、装置、设备及存储介质，涉及模型量化技术领域。所述方法包括：基于预设的模型量化次序，对原始模型逐层进行最优参数搜索，并确定所述原始模型每一层的最优尺度参数；基于所述原始模型每一层的最优尺度参数对所述原始模型进行量化得到最终量化模型。本申请通过按照预设次序依次对原始模型每一层的最优参数进行逐层搜索，从而能够快速、准确地获取得到贴合实际应用需求的量化模型。
- 神经网络模型中归一化算子的量化方法、装置、电子设备-202310955099.X
- 许礼武;余宗桥;黄敦博;周生伟 - 安谋科技（中国）有限公司
- 2023-07-31 - 2023-10-27 - G06N3/04
- 本申请实施例提供了一种神经网络模型中归一化算子的量化方法、装置、电子设备及计算机可读存储介质，涉及神经网络领域。该方法包括：根据浮点输出数据、量化位宽、浮点缩放参数以及第一移位数，获得第一量化系数；根据定点输入数据、第二移位数和量化位宽，获得定点归一化结果；根据定点缩放参数、定点平移参数、定点归一化结果，获得初始定点输出数据；根据第一量化系数对初始定点输出数据进行量化，将量化结果以第一移位数进行移位，获得定点输出数据。本申请实施例无需全部求出均值和方差，规避了传统计算均值和方差的方法带来的误差，针对部分除运算采用了基于第一移位数和第二移位数进行移位的方式，大大减少了运算量，提高了运算效率。
- 多层感知机模型生成方法、装置、计算机设备和存储介质-202311219336.2
- 张震林;杨扬;刘张代红;大卫·克利夫顿 - 牛津大学（苏州）科技有限公司;上海交通大学医学院
- 2023-09-21 - 2023-10-27 - G06N3/04
- 本申请涉及一种多层感知机模型生成方法、装置、计算机设备和存储介质。方法包括：接收用户输入数据；读取用户输入数据中携带的用户指定模型参数以及对应的用户指定模型值；将预定模型参数集合中的用户指定模型参数设置为用户指定模型值，并将除用户指定模型参数之外的其余模型参数设置为在默认取值范围内取随机值；以设置后的预定模型参数集合为约束条件，在预定感知机搜索空间中随机搜索以生成M个初始多层感知机模型架构；对每个初始多层感知机模型架构进行训练和评估，以确定M个经训练多层感知机模型和对应的M个第一性能评估值；输出具有最高第一性能评估值的经训练多层感知机模型。采用本方法能够灵活地根据用户需求生成多层感知机模型。
- 一种数据处理方法及装置-201811012643.2
- 张渊;谢迪;浦世亮 - 杭州海康威视数字技术股份有限公司
- 2018-08-31 - 2023-10-27 - G06N3/04
- 本申请实施例提供了一种数据处理方法及装置，数据处理方法可以包括：获取深度神经网络中的待量化数据层，其中，待量化数据层包括参数层和/或激活量；根据待量化数据层中各待量化数据与预设阈值的大小关系，将待量化数据层划分为小值区域及大值区域，其中，小值区域中的各待量化数据小于大值区域中的各待量化数据；分别对小值区域中各待量化数据以及大值区域中各待量化数据进行量化，得到量化后的待量化数据层。通过本方案，可以实现同时满足高精度及高动态范围的需求，提高DNN的运算性能。
- 一种GIS耐压试验方法及系统-202310890458.8
- 晏磊;谢守维;谭震;王山;邹小兵 - 四川明星电力股份有限公司
- 2023-07-19 - 2023-10-24 - G06N3/04
- 本发明提供了一种GIS耐压试验方法及系统，所述耐压试验方法包括GIS主回路耐压试验与电压互感器耐压试验，所述试验包括步骤：根据试验对象进行试验前准备，执行GIS主回路耐压试验与电压互感器耐压试验，其中，GIS主回路耐压试验包括步骤：按顺序进行加压；耐压试验过程中，对主回路中的每个部件至少施加一次试验电压；电压互感器耐压试验包括以下步骤：确定试验电压引入点和制定加压回路，进行耐压试验；采用固定频率进行加压至一次侧电压升至出厂耐压值为止；耐压试验过程中，对主回路中的每个部件至少施加一次试验电压。所述系统包括试验风险预测单元与GIS耐压试验单元。本发明的GIS耐压试验方法提高了试验的安全性。
- 在像素到像素神经网络中处理数据-202280019268.2
- D·汉森;A·肖阿哈萨尼拉什旦;S·奇丹巴拉姆;H·徐;J·K·F·黄;S·云;D·格纳纳普拉加萨姆 - 高通股份有限公司
- 2022-01-26 - 2023-10-20 - G06N3/04
- 提供了用于在神经网络中处理数据的技术。示例方法可以包括：由神经网络的每一层处理数据输入的第一条带中的行，该行在水平方向上并且根据逐层序列被顺序地处理；在处理所述行之后，由每一层在逐行的基础上处理所述第一条带中的后续行，每个后续行在所述水平方向上并且根据所述逐层序列被顺序地处理；基于所述行和后续行的处理来生成输出条带；由每一层处理所述数据输入的第二条带，所述第二条带中的每一行在所述水平方向上并且根据所述逐层序列被处理，其中，所述第二条带中的行在逐行的基础上被处理；以及基于第二条带的处理生成另一输出条带。
- 光学纳米天线结构预测网络训练方法、预测方法及装置-202311175592.6
- 郭健平;袁小艮;魏正军;张国东 - 华南师范大学
- 2023-09-13 - 2023-10-20 - G06N3/04
- 本发明涉及一种光学纳米天线结构预测网络训练方法、预测方法及装置。其中，光学纳米天线结构预测方法包括以下步骤：将期望光学响应分别输入m个训练好的逆向神经网络进行结构参数的预测，得到m组不同的目标结构参数组；对所有目标结构参数组进行聚类处理，得到多个不同分类的目标结构参数组集合；针对每一所述目标结构参数组集合，对其中的所述目标结构参数组进行平均处理，得到最终的目标结构参数组。本发明的一种光学纳米天线结构预测方法能够根据一种期望光学响应得到多种结构参数组，以满足结构参数设计多样性的需求。
- 用于具有用于对抗性检测的能力的深度神经网络的方法和装置-202180094643.5
- 朱军;邓志杰;苏航;程泽 - 罗伯特·博世有限公司;清华大学
- 2021-02-26 - 2023-10-20 - G06N3/04
- 本公开内容的某些方面涉及一种用于训练能够进行对抗性检测的深度神经网络(DNN)的方法，其中，DNN被配置有多个权重候选集合。在某些方面中，该方法包括：将从训练数据集中选择的训练数据输入到DNN。该方法还包括：基于训练数据来计算用于指示DNN的变分后验概率分布与真实后验概率分布之间的差的第一项。该方法还包括：扰动训练数据以生成被扰动的训练数据；以及计算用于指示对在被扰动的训练数据上的预测不确定性的量化的第二项。在某些方面中，该方法还包括：基于增大第一项和第二项的总和来更新DNN的多个权重候选集合。
- 模型调优方法、装置及存储介质-202210900153.6
- 周天宝 - 小米汽车科技有限公司
- 2022-07-28 - 2023-10-20 - G06N3/04
- 本公开涉及一种模型调优方法、装置及存储介质，可用于自动驾驶，所述方法包括：执行多次迭代更新操作；所述迭代更新操作包括：确定模型优化器针对预设的神经网络模型所确定的网络编码，所述网络编码包括网络拓扑结构策略编码、剪枝策略编码和量化策略编码；根据所述网络编码压缩所述神经网络模型，得到所述压缩模型；确定所述压缩模型针对媒体数据输出的结果数据；在所述结果数据未达到预设收敛条件的情况下，更新所述模型优化器，并基于更新后的模型优化器执行下一次迭代更新操作，提高模型优化效率，且降低对神经网络模型的原网络结构的影响。
- 确定用于人工神经网络的后训练量化的代表性输入数据集的方法和系统-202310296016.0
- R·L·布塞斯;M·A·阿圭勒;S·克赖恩贝格 - APTIV技术有限公司
- 2023-03-23 - 2023-10-17 - G06N3/04
- 本公开涉及确定用于人工神经网络的后训练量化的代表性输入数据集的方法和系统。确定用于人工神经网络的后训练量化的代表性输入数据集的计算机实现方法包括以下步骤：获取输入数据集；处理输入数据集以提取与输入数据集相关联的一个或更多个参数；设置包括下裁剪限制和上裁剪限制的裁剪限制；通过基于输入数据集与经量化再去量化的输入数据集之间的数值差计算量化误差来调整上裁剪限制和下裁剪限制，其中，误差是根据基于用户输入的误差度量来计算的；以及将代表性输入数据集确定为输入数据集的子集，该子集的元素适配在裁剪限制内；其中，代表性输入数据集将用于后训练量化的量化校准。
- 一种基于抑制连接的增强深度神经网络鲁棒性方法-202311058257.8
- 金龙;秦川;陈良铭;谢正泰;刘梅;刘军涛 - 兰州大学
- 2023-08-22 - 2023-10-13 - G06N3/04
- 本发明提出了一种基于抑制连接的增强深度神经网络鲁棒性方法，包括如下步骤：S1、将残差连接对应的原初值问题更改为扰动抑制初值问题；S2、对步骤S1中的扰动抑制初值问题进行前向欧拉离散获得基于抑制连接的增强深度神经网络。本发明所提出的抑制连接相比于残差连接而言，可以在保持泛化性的基础上，抑制扰动的增长上界，进而提升网络的鲁棒性。
- 决策模型、训练方法、决策方法、介质、设备及产品-202310678807.X
- 濮于淳;刘畅;许涛 - 支付宝（杭州）信息技术有限公司
- 2023-06-08 - 2023-10-13 - G06N3/04
- 本说明书实施例提供一种决策模型、决策模型的训练方法、决策方法、决策模型的训练装置、决策装置、计算机可读存储介质、电子设备以及计算机程序产品，上述决策模型包括：特征嵌入层，该特征嵌入层包括隐藏层或该特征嵌入层中权值共享，用于对输入特征进行嵌入处理并输出嵌入特征；任务处理模块，该任务处理模块用于接收上述嵌入特征，并对上述嵌入特征执行与任务相关的特征处理并输出任务关联特征；与上述任务处理模块连接的信息迁移模块，用于根据任务关联特征确定当前任务的组合特征；与上述信息迁移模块连接的分类层，用于根据当前任务的组合特征确定关于当前任务的分类结果。
- 处理计算任务方法及装置-202280012811.6
- 柯继伟;俞郑中 - 华为技术有限公司
- 2022-01-28 - 2023-10-13 - G06N3/04
- 本申请实施例提供了一种处理计算任务的方法及装置，该方法包括：确定用于执行计算任务的第一算子，第一算子包括N个可切分轴，N为大于或等于1的正整数；从算子切分信息库获取第一算子的切分信息；根据第一算子的切分信息，对第一算子的输入张量进行切分，获得K组输入张量；分别发送K组输入张量给K个目标计算资源，以便K个目标计算资源完成计算任务。这样，图优化器可以不基于具体算子的原理，进行算子输入和输出张量的自动切分，进而实现图优化器和算子优化模块的完全解耦，使得计算任务对应的算子在多个计算资源上并行计算。
- 任务处理方法、装置、电子设备及介质-202211388070.X
- 沈亮;郝宏翔;于佃海 - 北京百度网讯科技有限公司
- 2022-11-07 - 2023-10-13 - G06N3/04
- 本公开提供了一种任务处理方法、装置、电子设备及介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：将混合专家模型中的多个网络层切分为N组网络层，并将N组网络层分配给N个计算设备，其中N为大于1的整数；控制N个计算设备中的第一计算设备利用N组网络层中的第n组网络层执行第一任务，得到第一处理结果，n为小于N的正整数；响应于确定N个计算设备中的第二计算设备要基于第一处理结果执行第二任务，确定第二计算设备的目标状态；以及响应于确定目标状态为空闲状态，控制第二计算设备利用N组网络层中的第n+1组网络层，基于第一处理结果执行第二任务，得到第二处理结果。
- 一种基于模型预测与深度强化学习的热水系统控制方法-202210755343.3
- 殷林飞;熊轶;胡立坤 - 广西大学
- 2022-06-30 - 2023-10-13 - G06N3/04
- 本发明提出一种基于模型预测与深度强化学习的热水系统控制方法，该方法将监督学习与近端策略优化方法进行结合，用于控制热水系统。首先，所提方法中的监督学习包括循环门控单元、深度神经网络判别器和时间序列预测模块。输入是否外出信息与居住者的行为信息，来预测未来一天居住者行为信息，并输出未来一天近端策略优化方法接入热水系统的概率。若概率小于阈值，则采用两点控制策略并继续训练智能体；反之，则采用近端策略优化方法。其次，所提方法中的近端策略优化方法能学习居住者行为信息，无需特定调整即能应用在各种不同的居住场合，该方法能直接用于居住者家居，减少所需设备的安装与调试的时间，并且该方法的整体框架解释性比较优异。
- 模型建构方法、系统及非易失性电脑可读取记录介质-201910440952.8
- 林政宪;杨东庭;杨宏毅 - 宏达国际电子股份有限公司
- 2019-05-24 - 2023-10-13 - G06N3/04
- 一种模型建构方法，其适用于用于影像识别处理的神经网络模型。此模型建构方法包含以下步骤：由处理器依据神经网络模型的多个输入以及多个输出更新神经网络模型的多个层之间的多个连接变数。多个输出代表多个影像识别结果。多个连接变数代表多个层中的每两者之间的多个连接强度。本实施可动态地训练是否保留或舍弃彼此不相邻的层之间的连接。
- 一种面向深度神经网络模型的神经元覆盖统计方法-202310755137.7
- 李耀;申臻;高赛军;刘涛;宋力立 - 上海航天计算机技术研究所
- 2023-06-26 - 2023-10-10 - G06N3/04
- 本发明公开了一种面向深度神经网络模型的神经元覆盖统计方法，包括步骤1：面向待测试深度神经网络模型，获取有效、统一的数据集以及对应的标签信息；步骤2：修改神经网络模型源码，注册Hook函数，用于获取深度神经网络模型在前向传播过程中每个神经元的激活值；步骤3：将步骤1所整理好的样本数据集和标签输入至步骤2所修改后的深度神经网络模型中并运行，获取神经元激活值数据文件；步骤4：读取步骤3所生成的神经元激活值数据文件，以每一层为单位，统计各个神经元的激活频次；步骤5：根据步骤4所统计的各神经元激活频次，按激活频次降序对神经元进行排序；步骤6：生成神经元激活概率分布数据文件，绘制并展示概率分布曲线图。
- 一种分布式图神经网络计算效率的优化方法-202310776393.4
- 张志威;王朝阳;王国仁 - 北京理工大学
- 2023-06-28 - 2023-10-10 - G06N3/04
- 本发明公开提供了一种基于分布式图神经网络计算效率的优化方法，利用Deep Graph Library为图数据的处理与图神经网络的搭建与训练提供基本的支持，利用GCCL实现分布式环境下的图数据通信优化，满足图神经网络研究者的实验需求。
- 一种通用神经网络创建方法、装置、平台、介质及设备-202210306377.4
- 曹勇华;石柯;赵建奎;张迎;林炳辉;诸松权;管聪 - 魔门塔（苏州）科技有限公司
- 2022-03-25 - 2023-10-10 - G06N3/04
- 本申请公开了一种通用神经网络创建方法、装置、平台、介质及设备，属于深度学习领域。该方法包括根据用户的定制功能设置处理参数，创建算法配置文件，并将其集成到模型包中；利用一个或多个算法配置文件中的处理参数，设置算法配置文件的数据处理逻辑，得到与模型包相匹配的算法推理库；根据模型包的路径，创建模型包加载组件；利用模型包加载组件，通过模型加载接口运行模型包中的指定模型，并设置默认运行设备；在默认运行设备中，通过算法推理库运行模型包中的指定模型，对用户定义数据进行处理获得网络处理数据，创建出通用神经网络。本申请提出的通用神经网络运行算法推理库得到转换结果的效率更高，效果更佳，节省了车辆实际部署的时间。
- 一种基于项游走图神经网络的前提选择方法及系统-202210862153.1
- 刘清华;朱绪胜;陈代鑫;周力;缑建杰;陈俊佑;蔡怀阳;曾静文;马晨辉 - 成都飞机工业（集团）有限责任公司
- 2022-07-20 - 2023-10-10 - G06N3/04
- 本发明涉及软件可信性自动验证技术领域，公开了一种基于项游走图神经网络的前提选择方法，包括：数据集的建立；字符型逻辑公式表示为结构化的有向无环图；基于图的项游走模式的拓展；基于本发明提出的图项游走模式，设计项游走图神经网络，用于把逻辑公式图编码为对应的图特征实值向量；基于本发明提出的项游走图神经网络，设计前选择方法，输出为前提公式对结论公式在ATP自动证明中的实值有用性得分；在限定迭代次数下对本发明提出的端到端的基于项游走图神经网络的前提选择模型进行训练、验证和测试。本发明还公开了一种基于项游走图神经网络的前提选择系统。
- 面向图像识别深度神经网络的算子融合方法及系统-202310524971.5
- 时洋;王家男;陈照云;邓灿;赵宵磊;文梅;王耀华;扈啸 - 中国人民解放军国防科技大学
- 2023-05-10 - 2023-10-03 - G06N3/04
- 本发明公开了一种面向图像识别深度神经网络的算子融合方法及系统，本发明包括将输入的深度神经网络模型的计算图分块为计算子图；为各个计算子图随机构造多种候选融合方案，在硬件上测试并选择最佳融合方案；候选融合方案中连续两个复杂算子的融合为对其中后一个复杂算子循环重组使两个复杂算子的外部循环统一为基于中间结果张量的维度和形状后再对外部循环直接合并实现；将各个计算子图的最佳融合方案组合得到深度神经网络模型的最佳融合执行方案。本发明能够解决图像识别深度神经网络中复杂算子不能融合的问题，可通过复杂算子的融合和整个神经网络的融合提高图像识别任务的执行效率，缓解图像识别任务在硬件部署时候的缓存资源紧张的问题。
- 深度学习加速器及方法、芯片、电子设备、存储介质-202210279702.2
- 祝叶华;孙炜 - OPPO广东移动通信有限公司
- 2022-03-21 - 2023-10-03 - G06N3/04
- 本申请实施例公开了一种深度学习加速器及方法、芯片、电子设备、存储介质，深度学习加速器包括：数据生成模块、数据消费模块、通信模块和数据缓冲区；通信模块和数据缓冲区，分别连接于数据生成模块和数据消费模块之间；数据生成模块，用于将生成的待消费数据写入数据缓冲区，并将指示待消费数据在数据缓冲区中存储位置的指示信息提供给通信模块；通信模块，用于将指示信息提供给数据消费模块；数据消费模块，用于利用指示信息从数据缓冲区中读取待消费数据，并消费待消费数据。
- 环境舒适度的预测方法、装置、处理器以及电子设备-202310840810.7
- 周迎新 - 中国工商银行股份有限公司
- 2023-07-10 - 2023-09-29 - G06N3/04
- 本申请公开了一种环境舒适度的预测方法、装置、处理器以及电子设备。涉及人工智能领域，该方法包括：确定室内空间的M个采样点，并从每个采样点采集N个环境影响指标的数据，得到M组环境指标数据，其中，M、N为正整数；将M组环境指标数据中每组环境指标数据分别输入神经网络模型，输出M个采样点的初始舒适度级别；将M个采样点的空间坐标以及初始舒适度级别共同输入克里金模型，得到室内空间的舒适度信息。通过本申请，解决了相关技术中对室内空间舒适度进行预测时的准确性低的问题。
- 数据处理方法、装置、电子设备和可读存储介质-202210759100.7
- 张婉平 - 北京百度网讯科技有限公司
- 2022-06-29 - 2023-09-26 - G06N3/04
- 本公开提供了一种数据处理方法、装置、电子设备和可读存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、自然语言处理、计算机视觉等技术领域。数据处理方法包括：获取待处理数据的向量序列；基于查询计算矩阵与查询计算分支矩阵，得到所述向量序列的目标查询矩阵；基于键计算矩阵与键计算分支矩阵，得到所述向量序列的目标键矩阵；基于值计算矩阵与值计算分支矩阵，得到所述向量序列的目标值矩阵；基于所述目标查询矩阵、所述目标键矩阵与所述目标值矩阵进行注意力计算，得到所述待处理数据的注意力计算结果。本公开能够提升注意力计算的准确性。
- 一种神经网络模型训练方法、装置、电子设备及存储介质-202110304132.3
- 高志鹏;苗东;芮兰兰;莫梓嘉;赵晨;林怡静;谭清;付伟 - 北京邮电大学;北京驱云科技有限公司
- 2021-03-22 - 2023-09-26 - G06N3/04
- 本申请实施例提供的神经网络模型训练方法、装置、电子设备及存储介质，应用于信息技术领域，通过根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型；针对各组子网络模型，通过预设损失函数分别计算对应的损失；针对各组子网络模型，根据计算得到的损失进行联合训练，得到多组待输出子网络模型；针对各组子网络模型，分别计算各待输出子网络模型对应的多项性能参数；根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；选取各组子网络模型中综合性能得分最高的一组作为目标子网络模型。可以按照目标子网络模型进行图像分类网络模型的部署，从而提高神经网络部署的便利性。
- 一种神经网络模型的计算方法及装置-202310501548.3
- 王楠;张章;彭亮;周鹏 - 阿里巴巴（中国）有限公司
- 2023-04-27 - 2023-09-22 - G06N3/04
- 本说明书一个或多个实施例提供一种神经网络模型的计算方法及装置，所述方法包括：获取神经网络模型对应的计算图，所述计算图中的节点表示所述神经网络模型中的算子，所述计算图中的边表示算子之间的数据依赖；在所述神经网络模型中参与运算的任一张量的维度信息为动态维度的情况下，将所述任一张量的维度信息表征为与所述算子的计算逻辑和/或所述数据依赖相关的维度计算表达式。
- 一种网络结构搜索方法、装置、存储介质和电子设备-202310961004.5
- 周恩慈;张骞;黄畅 - 北京地平线信息技术有限公司
- 2023-08-01 - 2023-09-19 - G06N3/04
- 公开了一种网络结构搜索方法、装置、存储介质和电子设备。该方法包括：对目标网络的网络结构进行扩展，得到第一网络，网络结构包括神经网络中的网络层的数量、类型和/或连接方式；基于处理器的硬件资源，利用对应多个任务的多个训练集样本，对第一网络进行网络结构搜索，得到第二网络，第二网络为第一网络的子网络；基于第一网络的网络参数和第二网络的网络结构，确定第三网络；利用多个训练集样本对第三网络进行重训练，得到第四网络。本公开提供的技术方案中，网络结构搜索与重训练均在多任务场景下进行，网络结构搜索与重训练的一致性更高，因此，搜索到的神经网络在多任务场景下表现更佳。
- 模型量化方法、装置、设备、存储介质及产品-202310745288.4
- 张光艳 - 深圳市欢太科技有限公司
- 2023-06-21 - 2023-09-19 - G06N3/04
- 本申请提供了一种模型量化方法、装置、设备、存储介质及产品，属于深度学习技术领域。方法包括：基于深度学习模型对应的目标标签和高斯噪声，通过生成器生成伪造数据，所述伪造数据的标签为所述目标标签；基于所述深度学习模型中的多个第一批归一化BN层，从代理数据集合中确定代理数据，所述代理数据集合中包括多个代理数据，所述代理数据为开源的真实数据；将所述伪造数据和所述代理数据进行混合，得到第一样本数据；基于所述第一样本数据，对所述深度学习模型进行量化。本申请能够提高量化深度学习模型的精度。
- 一种对话模型的优化部署方法、装置、设备及介质-202311020790.5
- 朱姗;王立国;梁维斌 - 上海燧原科技有限公司
- 2023-08-15 - 2023-09-19 - G06N3/04
- 本发明公开了一种对话模型的优化部署方法、装置、设备及介质。对话模型的优化部署方法，包括：获取当前自助对话模型、当前自助对话模型网络参数以及模型训练关联数据集；根据当前自助对话模型的硬件关联特征数据以及目标优化指标，对当前自助对话模型进行计算图优化以及模型压缩计算节点插入处理，得到待训练自助对话模型；基于模型训练关联数据集以及模型综合部署指标，对待训练自助对话模型进行训练优化，得到符合模型综合部署指标的待部署自助对话模型；对待部署自助对话模型进行优化部署。本发明实施例的技术方案能够在低存储量、低能耗的前提下对模型快速高效部署。
- 专利分类
