[发明专利]用于机器学习处理的存储器共享在审

专利信息
申请号: 202210839546.0 申请日: 2022-07-18
公开(公告)号: CN115640243A 公开(公告)日: 2023-01-24
发明(设计)人: M·N·莫迪;K·S·奇特尼斯;K·德萨班;D·史密斯;P·K·斯瓦米;S·加干纳坦 申请(专利权)人: 德克萨斯仪器股份有限公司
主分类号: G06F13/16 分类号: G06F13/16;G06F13/28;G06F13/40;G06N3/063;G06N3/0464;G06N3/048;G06N3/08;G06N3/084
代理公司: 北京纪凯知识产权代理有限公司 11245 代理人: 袁策
地址: 美国德*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 用于 机器 学习 处理 存储器 共享
【说明书】:

本申请涉及用于机器学习处理的存储器共享。用于执行机器学习(ML)模型的技术包括:接收在处理内核(1002)上运行ML模型的指示;接收用于在处理内核(1002)上运行ML模型的静态存储器(1102)分配;确定ML模型的层使用比分配的静态存储器(1102)更多的存储器;向共享存储器(1012)传输对共享存储器(1012)的块的存储器请求;接收所请求的块的分配;使用静态存储器(1102)和存储器地址范围运行ML模型的层;以及输出运行ML模型的层的结果。

背景技术

机器学习(ML)正成为计算领域越来越重要的一部分。机器学习是人工智能(AI)的分支,并且ML有助于使软件系统能够学习从数据中辨识模式,而无需为此进行直接编程。神经网络(NN)是一种类型的ML,利用一组链接和分层的函数(例如,节点、神经元等),对这些函数进行加权以评估输入数据。在一些NN(有时称为卷积神经网络(CNN))中,基于接收到的输入和权重在NN层中执行卷积操作,而不是在传统NN中使用的矩阵乘法。CNN中的层可以执行许多类型的功能,包括但不限于卷积、反卷积、池化、上采样等。CNN通常用于广泛的应用中,一般用于辨识和分类,诸如图像辨识和分类、预测和推荐系统、语音和语言辨识和翻译(translation)等。

随着ML变得越来越有用,希望在计算和存储器资源相对有限的设备(诸如嵌入式设备或其他低功率设备)中有效地执行复杂的ML技术,诸如NN和CNN。为了帮助有效地运行给定的ML模型,可以分析和优化该ML模型,以定制ML模型如何运行到要使用的目标硬件资源。

发明内容

本公开涉及一种用于执行机器学习(ML)模型的技术。该技术包括:接收在处理内核上运行ML模型的指示;接收用于在处理内核上运行ML模型的静态存储器分配;确定ML模型的层使用比分配的静态存储器更多的存储器;向共享存储器传输对共享存储器的块的存储器请求;接收所请求的块的分配;使用静态存储器和存储器地址范围运行ML模型的层;以及输出运行ML模型的层的结果。

本公开的另一方面涉及一种电子设备,其包括:存储器;以及可操作地耦合到存储器的一个或多个处理器,其中一个或多个处理器被配置为执行指令,这些指令使得一个或多个处理器:接收在处理内核上运行机器学习(ML)模型的指示;接收用于在处理内核上运行ML模型的静态存储器分配;确定ML模型的层使用比分配的静态存储器更多的存储器;向存储器的共享存储器部分传输对共享存储器的块的存储器请求;接收所请求的块的分配;使用静态存储器和存储器地址范围运行ML模型的层;以及输出运行ML模型的层的结果。

本公开的另一方面涉及一种非暂时性程序存储设备,其包括存储在其上的指令,该指令使一个或多个处理器:接收一组ML模型;在目标硬件上模拟运行该组ML模型;基于所模拟的运行确定用于运行该组ML模型的ML模型的层的目标硬件的静态存储器和共享存储器资源的量,其中静态存储器的量小于ML模型的层使用的最大存储器量,其中基于模拟确定使用的最大存储器量。

附图说明

对于各种示例的详细描述,现在将参考附图,其中:

图1示出根据本公开的各方面的示例神经网络ML模型。

图2是根据本公开的各方面的包括用于执行ML模型的硬件的设备的框图。

图3是根据本公开的各方面的用于为目标硬件编译ML模型的过程的框图。

图4是示出根据本公开的各方面的跨计算内核的ML模型执行的时间线。

图5是示出根据本公开的各方面的ML模型的层的存储器使用量的图表。

图6是根据本公开的各方面的包括用于执行ML模型的硬件的设备的框图。

图7是根据本公开的各方面的包括用于执行ML模型的硬件的替代设备的框图。

图8是示出根据本公开的各方面的跨计算内核的ML模型执行的时间线。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于德克萨斯仪器股份有限公司,未经德克萨斯仪器股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210839546.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top