[发明专利]一种服务器无感知的大语言模型推理系统、方法和设备在审
| 申请号： | 202310961495.3 | 申请日： | 2023-08-02 |
| 公开（公告）号： | CN116702907A | 公开（公告）日： | 2023-09-05 |
| 发明（设计）人： | 金鑫;刘譞哲;仲殷旻;吴秉阳;章梓立 | 申请（专利权）人： | 北京大学 |
| 主分类号： | G06N5/043 | 分类号： | G06N5/043;G06F9/50 |
| 代理公司： | 北京润泽恒知识产权代理有限公司 11319 | 代理人： | 苟冬梅 |
| 地址： | 100871*** | 国省代码： | 北京;11 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本申请提供了一种服务器无感知的大语言模型推理系统、方法和设备，该系统应用于人工智能技术领域，该系统包括：调度器和GPU集群；调度器包括：作业分析模块，用于对接收到的目标推理作业请求，进行信息预测，得到预测执行时间；调度模块，用于根据预测执行时间，确定目标推理作业请求所需要进入的目标优先级队列；调度模块，还用于从多个优先级队列中，选择一个或多个推理作业请求发送给GPU集群；GPU集群包括：分布式执行模块，用于接收调度模块发送的推理作业请求，执行推理作业请求所对应的推理作业，得到推理结果；内存管理模块，用于管理分布式执行模块执行推理作业的过程中产生的中间状态数据。 | ||
| 搜索关键词： | 一种 服务器 感知 语言 模型 推理 系统 方法 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京大学，未经北京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310961495.3/，转载请声明来源钻瓜专利网。
