[发明专利]用于机器学习处理的存储器共享在审
申请号: | 202210839546.0 | 申请日: | 2022-07-18 |
公开(公告)号: | CN115640243A | 公开(公告)日: | 2023-01-24 |
发明(设计)人: | M·N·莫迪;K·S·奇特尼斯;K·德萨班;D·史密斯;P·K·斯瓦米;S·加干纳坦 | 申请(专利权)人: | 德克萨斯仪器股份有限公司 |
主分类号: | G06F13/16 | 分类号: | G06F13/16;G06F13/28;G06F13/40;G06N3/063;G06N3/0464;G06N3/048;G06N3/08;G06N3/084 |
代理公司: | 北京纪凯知识产权代理有限公司 11245 | 代理人: | 袁策 |
地址: | 美国德*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 机器 学习 处理 存储器 共享 | ||
本申请涉及用于机器学习处理的存储器共享。用于执行机器学习(ML)模型的技术包括:接收在处理内核(1002)上运行ML模型的指示;接收用于在处理内核(1002)上运行ML模型的静态存储器(1102)分配;确定ML模型的层使用比分配的静态存储器(1102)更多的存储器;向共享存储器(1012)传输对共享存储器(1012)的块的存储器请求;接收所请求的块的分配;使用静态存储器(1102)和存储器地址范围运行ML模型的层;以及输出运行ML模型的层的结果。
背景技术
机器学习(ML)正成为计算领域越来越重要的一部分。机器学习是人工智能(AI)的分支,并且ML有助于使软件系统能够学习从数据中辨识模式,而无需为此进行直接编程。神经网络(NN)是一种类型的ML,利用一组链接和分层的函数(例如,节点、神经元等),对这些函数进行加权以评估输入数据。在一些NN(有时称为卷积神经网络(CNN))中,基于接收到的输入和权重在NN层中执行卷积操作,而不是在传统NN中使用的矩阵乘法。CNN中的层可以执行许多类型的功能,包括但不限于卷积、反卷积、池化、上采样等。CNN通常用于广泛的应用中,一般用于辨识和分类,诸如图像辨识和分类、预测和推荐系统、语音和语言辨识和翻译(translation)等。
随着ML变得越来越有用,希望在计算和存储器资源相对有限的设备(诸如嵌入式设备或其他低功率设备)中有效地执行复杂的ML技术,诸如NN和CNN。为了帮助有效地运行给定的ML模型,可以分析和优化该ML模型,以定制ML模型如何运行到要使用的目标硬件资源。
发明内容
本公开涉及一种用于执行机器学习(ML)模型的技术。该技术包括:接收在处理内核上运行ML模型的指示;接收用于在处理内核上运行ML模型的静态存储器分配;确定ML模型的层使用比分配的静态存储器更多的存储器;向共享存储器传输对共享存储器的块的存储器请求;接收所请求的块的分配;使用静态存储器和存储器地址范围运行ML模型的层;以及输出运行ML模型的层的结果。
本公开的另一方面涉及一种电子设备,其包括:存储器;以及可操作地耦合到存储器的一个或多个处理器,其中一个或多个处理器被配置为执行指令,这些指令使得一个或多个处理器:接收在处理内核上运行机器学习(ML)模型的指示;接收用于在处理内核上运行ML模型的静态存储器分配;确定ML模型的层使用比分配的静态存储器更多的存储器;向存储器的共享存储器部分传输对共享存储器的块的存储器请求;接收所请求的块的分配;使用静态存储器和存储器地址范围运行ML模型的层;以及输出运行ML模型的层的结果。
本公开的另一方面涉及一种非暂时性程序存储设备,其包括存储在其上的指令,该指令使一个或多个处理器:接收一组ML模型;在目标硬件上模拟运行该组ML模型;基于所模拟的运行确定用于运行该组ML模型的ML模型的层的目标硬件的静态存储器和共享存储器资源的量,其中静态存储器的量小于ML模型的层使用的最大存储器量,其中基于模拟确定使用的最大存储器量。
附图说明
对于各种示例的详细描述,现在将参考附图,其中:
图1示出根据本公开的各方面的示例神经网络ML模型。
图2是根据本公开的各方面的包括用于执行ML模型的硬件的设备的框图。
图3是根据本公开的各方面的用于为目标硬件编译ML模型的过程的框图。
图4是示出根据本公开的各方面的跨计算内核的ML模型执行的时间线。
图5是示出根据本公开的各方面的ML模型的层的存储器使用量的图表。
图6是根据本公开的各方面的包括用于执行ML模型的硬件的设备的框图。
图7是根据本公开的各方面的包括用于执行ML模型的硬件的替代设备的框图。
图8是示出根据本公开的各方面的跨计算内核的ML模型执行的时间线。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于德克萨斯仪器股份有限公司,未经德克萨斯仪器股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210839546.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:核壳化合物、树脂组合物及其层、彩色滤光器和显示装置
- 下一篇:半导体装置