[发明专利]基于细划分MapReduce的文本语义提取方法在审
申请号: | 201410379847.5 | 申请日: | 2014-08-04 |
公开(公告)号: | CN104156350A | 公开(公告)日: | 2014-11-19 |
发明(设计)人: | 曾嘉;高阳;严建峰;刘晓升;杨璐;刘志强 | 申请(专利权)人: | 苏州大学 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 苏州市中南伟业知识产权代理事务所(普通合伙) 32257 | 代理人: | 杨明 |
地址: | 215000 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于细划分MapReduce的文本语义提取方法。所述方法包括:将待处理文本集按照文档维度和单词表维度进行双重划分,每个划分是部分文本的部分内容;申请一定数量的Mapper,使用LDA主题模型SparseLDA算法分别训练文本集的每个划分,得到局部参数,并对不同的参数给予不同的标记,记录其所对应的Reducer;申请一定数量的Reducer,不同种类的Reducer融合不同标记的局部参数,得到全局参数,输出到文件;重复此Mapper和Reducer过程直到达到收敛条件,得到最终训练模型,用于新文本的语义解释与表达。 | ||
搜索关键词: | 基于 划分 mapreduce 文本 语义 提取 方法 | ||
【主权项】:
一种基于细划分MapReduce的文本语义提取方法,其特征在于:所述方法包括:将待处理文本集以文档维度和单词维度两个维度分别进行划分;将划分后的文档和单词分别经过MapReduce的多次处理直至达到收敛条件,得到训练模型;基于所述训练模型对文本进行语义解释与表达。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州大学,未经苏州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410379847.5/,转载请声明来源钻瓜专利网。