[发明专利]对大体量语料进行训练的方法、装置与系统在审
| 申请号： | 201810158656.4 | 申请日： | 2018-02-26 |
| 公开（公告）号： | CN108399159A | 公开（公告）日： | 2018-08-14 |
| 发明（设计）人： | 万峰;周焕来;马丹丹;王兴邦 | 申请（专利权）人： | 成都贝壳优选电子商务有限公司;万峰 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 北京联瑞联丰知识产权代理事务所(普通合伙) 11411 | 代理人： | 郑自群 |
| 地址： | 610041 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种对大体量语料进行训练的方法、装置与系统，通过将大规模训练数据切分为独立的数据分片，每一个分片交由一个独立线程的训练模块进行训练，训练模块通过权限控制模块获取最新的词向量，权限控制模块维护语义模型中的词向量和各个词向量的读写权限，使用互斥读写的方式确保训练结果正确，并设置了权限管理机制，在确保不发生死锁和饥饿的情况下尽可能的提高词向量使用效率，不仅能够提升训练语料的规模，同时也能提升训练的速度和词向量的维度，能够更精准的表述词义。 | ||
| 搜索关键词： | 词向量 权限控制模块 训练模块 语料 词义 独立线程 读写权限 权限管理 使用效率 数据分片 训练结果 训练数据 训练语料 语义模型 读写 互斥 死锁 维度 饥饿 维护 | ||
【主权项】：
1.一种切分大体量语料的方法，其特征在于，包括读取步骤、切分步骤、分配步骤和保存步骤；读取步骤，从数据库中读取语料数据；切分步骤，按设定的固定值对读取的语料数据进行切分，形成语料数据分片，将所述语料数据分片组成语料数据分片队列；分配步骤，对所述语料数据分片队列中的语料数据分片，分配唯一对应的索引号；保存步骤，使用所述索引号创建存储空间，使用创建的存储空间保存语料数据分片队列数据；在该步骤中保存的语料数据分片队列数据，用于单线程训练。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都贝壳优选电子商务有限公司;万峰，未经成都贝壳优选电子商务有限公司;万峰许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810158656.4/，转载请声明来源钻瓜专利网。
