“杰克·威廉·雷”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果4个，建议您升级VIP下载更多相关专利

[发明专利]具有稀疏访问的外部存储器的增强神经网络-CN201780015350.7有效
发明人：伊沃·达尼赫尔卡;格雷戈里·邓肯·韦恩;王富民;爱德华·托马斯·格里芬斯泰特;杰克·威廉·雷;亚历山大·本杰明·格拉韦斯;蒂莫西·保罗·利利克拉普;蒂莫西·詹姆斯·亚历山大·哈莱;乔纳森·詹姆斯·亨特 -专利权人：渊慧科技有限公司
申请日： 2017-02-03 - 公布日： 2023-07-18 - 主分类号： G06N3/044 文献下载
摘要：方法、系统、以及装置，包括在计算机存储介质上编码的计算机程序，用于利用外部存储器来增强神经网络。所述系统中的一个包括稀疏存储器访问子系统，该稀疏存储器访问子系统被配置为执行操作，所述操作包括：使用读密钥生成包括外部存储器中的多个位置的每一个的相应读权重的读权重稀疏集；根据读权重稀疏集从外部存储器中的多个位置读取数据；生成包括外部存储器中的多个位置中的每一个的相应写权重的写权重集；并且根据该写权重将写向量写入到外部存储器中的多个位置。
具有稀疏访问外部存储器增强神经网络

[发明专利]增强基于注意力的神经网络以选择性地关注过去的输入-CN202080067175.8在审
发明人： 杰克·威廉·雷;安娜·波塔片科;蒂莫西·保罗·利利克拉普 -专利权人：渊慧科技有限公司
申请日： 2020-09-24 - 公布日： 2022-05-10 - 主分类号： G06N3/04 文献下载
摘要：包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于对作为序列的网络输入执行机器学习任务以生成网络输出。在一个方面，方法中的一个包括，针对层输入的每个特定序列：针于神经网络中的每个注意力层：维护事段记忆数据；维护压缩记忆数据；接收要由注意力层处理的层输入；以及对(i)该层的压缩记忆数据中的压缩表示、(ii)该层的事段记忆数据中的隐藏状态，以及(iii)特定网络输入中的多个输入位置中的每个输入位置处的相应的隐藏状态应用注意力机制，以生成层输入中的每个输入位置的相应的激活。
增强基于注意力神经网络选择性关注过去输入

[发明专利]门控注意力神经网络-CN202080065247.5在审
发明人：埃米利奥·帕里索托;哈苏克·宋;杰克·威廉·雷;西德汗特·马杜·贾亚库马尔;麦克斯维尔·埃利奥特·耶德贝里;拉兹万·帕什卡努;恰拉尔·居尔杰勒 -专利权人：渊慧科技有限公司
申请日： 2020-09-07 - 公布日： 2022-04-29 - 主分类号： G06N3/04 文献下载
摘要：描述了一种包括注意力神经网络的系统，该注意力神经网络被配置为接收输入序列并处理输入序列以生成输出。注意力神经网络包括：注意力块，其被配置为接收从注意力块输入导出的查询输入、键输入和值输入。注意力块包括注意力神经网络层，其被配置为：接收从查询输入、键输入和值输入导出的注意力层输入，并将注意力机制应用于查询输入、键输入和值输入以生成注意力神经网络层的注意力层输出；以及门控神经网络层，其被配置为将门控机制应用于注意力块输入和注意力神经网络层的注意力层输出，以生成门控注意力输出。
门控注意力神经网络

[发明专利]可扩展和压缩的神经网络数据储存系统-CN201980063938.9在审
发明人： 杰克·威廉·雷;蒂莫西·保罗·利利克拉普;谢尔盖·巴尔图诺夫 -专利权人：渊慧科技有限公司
申请日： 2019-09-27 - 公布日： 2021-05-11 - 主分类号： G06N3/04 文献下载
摘要：一种使用神经网络的用于压缩数据储存的系统。该系统包括存储器，该存储器包括被配置成存储数据的多个存储器位置；查询神经网络，该查询神经网络被配置成处理输入数据项的表示以生成查询；不变键数据存储，该不变键数据存储包括用于对多个存储器位置进行索引的键数据；寻址系统，该寻址系统被配置成处理键数据和查询以生成与多个存储器位置相关联的加权；存储器读取系统，该存储器读取系统被配置成基于与多个存储器位置相关联的所生成的加权和在多个存储器位置处存储的数据来从所述存储器生成输出存储器数据；以及存储器写入系统，该存储器写入系统被配置成基于与多个存储器位置相关联的所生成的加权来将接收到的写入数据写入到存储器。
扩展压缩神经网络数据储存系统