[发明专利]一种语义冗余的挖掘方法和装置有效
申请号: | 201210306502.8 | 申请日: | 2012-08-24 |
公开(公告)号: | CN103631812B | 公开(公告)日: | 2018-09-04 |
发明(设计)人: | 赵世奇 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京鸿德海业知识产权代理事务所(普通合伙) 11412 | 代理人: | 袁媛 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 语义 冗余 挖掘 方法 装置 | ||
本发明提供了一种语义冗余的挖掘方法和装置,方法包括:S1、从搜索日志中获取Q‑Q、Q‑T和T‑T中的至少一种资源作为候选句对,Q‑Q为用户在一个会话中搜索的两个query构成的句对,Q‑T为query与对应的被点击网页标题(title)构成的句对,T‑T为同一个query对应的两个被点击title构成的句对;S2、从各候选句对中抽取具有相同上下文语境的短语对作为候选复述短语对;S3、从候选复述短语对中抽取短语p2被另一个短语p1完全包含的候选复述短语对;S4、对步骤S3抽取出的候选复述短语对进行噪声过滤后,得到语义冗余短语对。本发明实现了语义冗余的挖掘,为语义冗余的识别以及进一步提高搜索准确率和召回率提供基础。
【技术领域】
本发明涉及计算机应用技术领域,特别涉及一种语义冗余的挖掘方法和装置。
【背景技术】
冗余存在于言语的每一个平面上,同一言语片段中,各词项中可能反复出现一些义素,这些重复出现的义素就可能构成语义冗余。若一个字符串S在去掉其中某个词w后语义基本不变,则可以确定S中存在语义冗余,且w是S中的冗余词。例如“苹果牌的笔记本电脑一般多少钱啊”这一句子,其中“的”、“啊”为停用词可以忽略,“一般”为与上下文相关性不大的冗余词,其虽然不是停用词,但语义限定作用也不大同样可以忽略。但其中的“牌”相对于“苹果”在语义上存在冗余,“电脑”相对于“笔记本”在语义上存在冗余。
对于搜索引擎来说,语义冗余的识别技术非常重要,起码表现在两个方面:首先,很多用户query中存在语义冗余,去掉这些语义冗余词之后通常有助于用户获取更有价值的结果,例如可以提高搜索结果的召回率。其次,搜索结果中也存在语义冗余,识别出其中的语义冗余可以更加精确地计算query和搜索结果的相似度。然而,语义冗余的识别需要依靠预先对语义冗余的挖掘,因此语义冗余的挖掘对提高搜索的准确率和召回率就十分重要。
【发明内容】
有鉴于此,本发明提供了一种语义冗余的挖掘方法和装置,为语义冗余的识别以及进一步提高搜索准确率和召回率提供基础。
具体技术方案如下:
一种语义冗余的挖掘方法,该方法包括:
S1、从搜索日志中获取Q-Q、Q-T和T-T中的至少一种资源作为候选句对,所述Q-Q为用户在一个会话session中搜索的两个query构成的句对,所述Q-T为query与对应的被点击网页标题title构成的句对,所述T-T为同一个query对应的两个被点击title构成的句对;
S2、从各候选句对中抽取具有相同上下文语境的短语对作为候选复述短语对;
S3、从候选复述短语对中抽取短语p2被另一个短语p1完全包含的候选复述短语对;
S4、对所述步骤S3抽取出的候选复述短语对进行噪声过滤后,得到语义冗余短语对,所述语义冗余短语对中短语p1比短语p2冗余的词语为语义冗余词。
根据本发明一优选实施例,在所述步骤S2中按照如下短语抽取规则抽取短语对作为候选复述短语对:两个短语的前一个词相同且后一个词相同,但两个短语本身不相同。
根据本发明一优选实施例,所述短语抽取规则还包括以下至少一种:两短语的长度在预设的长度范围内,两短语中不包含标点且不能完全由停用词构成,或者两短语之前和之后不能是标点。
根据本发明一优选实施例,所述步骤S2中还包括:统计各候选复述短语对分别从Q-Q、Q-T和T-T抽取出来的次数,将总次数小于预设次数阈值的候选复述短语对过滤掉。
根据本发明一优选实施例,步骤S4中所述噪声过滤包括以下至少一种:
计算候选复述短语对的上下文的熵,将存在上下文的熵小于预设熵阈值的候选复述短语对过滤掉;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210306502.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种编条收卷机
- 下一篇:一种适用于多个制动控制器互锁的控制装置