|
|
钻瓜专利网为您找到相关结果 976个，建议您 升级VIP下载更多相关专利
- [发明专利]拆分推理方法及装置-CN202210220494.9在审
-
徐晨;张公正;王坚;李榕;王俊
-
华为技术有限公司
-
2022-03-08
-
2023-09-19
-
G06N5/04
- 本申请实施例提供了一种拆分推理方法及装置，涉及通信技术领域，能够在降低通信开销的同时降低原始数据泄漏到中心服务器的风险。方法包括：第一通信装置接收来自第二通信装置的用于指示第一通信装置的上一跳通信装置和下一跳通信装置的第一指示信息；上一跳通信装置和下一跳通信装置中包括至少一个终端设备；第一通信装置接收来自上一跳通信装置的数据，根据第一通信装置对应的子模型对数据进行推理，得到推理结果，并发送给下一跳通信装置；第一通信装置对应的子模型为根据X个通信装置对模型进行拆分得到的X个子模型中的一个，X个通信装置中的通信装置x对应第x个子模型，X个通信装置包括第一通信装置，x大于或等于1，x小于或等于X。
- 拆分推理方法装置
- [发明专利]拆分推理方法及装置-CN202210220895.4在审
-
叶德仕;张淼;徐晨;李榕
-
华为技术有限公司
-
2022-03-08
-
2023-09-19
-
G06N5/04
- 本申请实施例提供了一种拆分推理方法及装置，涉及通信技术领域，能够在降低通信开销的同时降低推理时延。方法包括：第一通信装置接收来自第二通信装置的第一通信装置对应的子模型；其中，第一通信装置对应的子模型为第二通信装置对模型进行拆分得到的X个子模型中的一个，X个通信装置中的通信装置x对应第x个子模型，X个通信装置包括第一通信装置，1小于或等于x，x小于或等于X；第一通信装置对应的子模型为第一通信装置利用子模型进行推理时，推理时间最短的子模型；第一通信装置根据第一通信装置对应的子模型对接收到的数据进行推理。
- 拆分推理方法装置
- [发明专利]一种推理加速方法、设备及存储介质-CN202310580983.X在审
-
李克森;赵大川;游亮
-
阿里巴巴（中国）有限公司
-
2023-05-22
-
2023-09-19
-
G06N5/04
- 本申请实施例提供一种推理加速方法、设备及存储介质。提出在推理执行阶段中，响应于推理指令而为推理模型中各个待加速的推理操作分别确定在本轮推理过程中所对应的加速需求参数值，这样，可实时地感知到各个推理操作所对应加速需求参数值在推理执行阶段中的动态变化情况，从而可跟随加速需求参数的动态变化而自适应地为各个推理操作匹配到合适的加速算子，保证了推理模型中的各个待加速的推理操作在每一轮推理过程中均可匹配到合适的加速算子。与传统的在推理初始化阶段进行算子匹配并固化到推理执行阶段的方案相比，可实现加速算子的自适应匹配，从而支持推理执行阶段中复杂多变的推理指令，进而保证每一轮推理过程中的推理加速性能。
- 一种推理加速方法设备存储介质
- [发明专利]一种预测推理系统及方法-CN202310656385.6在审
-
张嘉益
-
启元世界（深圳）科技有限公司
-
2023-06-05
-
2023-09-19
-
G06N5/04
- 本申请提供的一种预测推理系统及方法。在一种预测推理系统中，包括持续学习模块、预测推理模块以及数据生成模块，持续学习模块和预测推理模块运行在不同的图像处理器GPU，数据生成模块，用于获取环境交互数据，将环境交互数据送入经验回放中转站中进行存储；持续学习模块，用于获取环境交互数据，确定模型更新权重参数；预测推理模块，用于根据模型更新权重参数更新预测模型，得到更新后的预测模型，接收预测请求，将预测请求中携带的待预测数据输入至更新后的预测模型中，得到预测结果。可见，通过该系统，将预测推理功能与持续学习功能运行在不同的GPU，避免了预测推理功能与持续学习功能争抢GPU资源，从而提高模型训练以及预测推理的效率。
- 一种预测推理系统方法
|
