[发明专利]一种侵权数据抓取优先级的评估方法及其网络监控系统

说明书

本发明涉及侵权数据抓取优先级的评估方法及其网络监控系统，步骤包括：S1根据搜索结果获取包括：第一兴趣信息I1、第二兴趣信息I2、标题S、作品信息K、关键词信息K1、当前作品优先级wl、当前关键词优先级kl、搜索结果中的页码p和排名ps；S2计算排名因子cp＝1/(p*31+ps)*F且令min(cp)＝1，cp向上取整；其中所述F为调整数，以确保计算结果区间为正数；S3计算作品信息相似度ws＝sim(S，K)，其中sim(S，K)定义为字符串K中按顺序出现在字符串S内的最大字符数与K包含的总字符数之比；S4计算关键词相似度ks＝sim(S，K1)，其中sim(S，K1)定义为字符串K1中按顺序出现在字符串S内的最大字符数与K1包含的总字符数之比；S5相似度带入计算cl＝cp*ks*C1+cp*ws；S6计算影响力ei＝I2+I1*C2；S7计算搜索结果的抓取优先级ap＝wl*C3+kl*C4+cl+C5*In(ei+1)并根据ap数值排序。

技术领域

本发明涉及侵权数据调查技术领域，尤其涉及侵权数据抓取优先级的评估方法及侵权数据网络监控系统。

背景技术

随着版权产业的发展和各类影视、音乐、图片、文学网站/APP的普及，需要对这些网站上发布的内容进行监测，找出其中侵犯著作权的内容，对其作通知下线等处理。为了对大量版权作品持续进行监测，现有技术中提出了利用网络监控技术，对相关作品名等关键词对网站自动发出搜索请求，并在搜索结果中选取较有可能属于侵权的内容，进一步对网站发出播放请求，由此抓取到内容片段，与版权作品内容加以比对，确定其是否构成侵权，从而完成整个侵权数据检测过程。

然而一个存在的问题是，由于互联网数据量始终保持着惊人的膨胀，因此采用上述现有技术进行侵权检测的过程中，在搜索阶段会产生数据巨大的搜索结果，而单位时间内能通过自动发送播放请求，而抓取到的内容片段数量是有限的，因此随着时间推移，单位时间内所能检测到的有效侵权结果将会逐渐下降，除非系统的配置及人员成本对应增加，但这样做显然并不现实，更不经济。

发明内容

本发明的主要目的在于提供一种侵权数据抓取优先级的评估方法，以对侵权搜索阶段的结果进行评估，并根据其构成侵权的可能性大小排序。

为了实现上述目的，根据本发明的第一个方面，提供了一种侵权数据抓取优先级的评估方法，步骤包括：

S1根据搜索结果获取包括：第一兴趣信息I1、第二兴趣信息I2、标题S、作品信息K、关键词信息K1、当前作品优先级wl、当前关键词优先级kl、搜索结果中的页码p和排名ps；

S2计算排名因子cp＝1/(p*31+ps)*F且令min(cp)＝1，cp向上取整；其中该F为调整数，以确保计算结果区间为正数；

S3计算作品信息相似度ws＝sim(S，K)，其中sim(S，K)定义为字符串K中按顺序出现在字符串S内的最大字符数与K包含的总字符数之比；

S4计算关键词相似度ks＝sim(S，K1)，其中sim(S，K1)定义为字符串K1中按顺序出现在字符串S内的最大字符数与K1包含的总字符数之比；

S5相似度带入计算cl＝cp*ks*C1+cp*ws，其中C1为第一常量；

S6计算影响力ei＝I2+I1*C2，其中C2为第二常量；

S7计算搜索结果的抓取优先级ap＝wl*C3+kl*C4+cl+C5*ln(ei+1)，并根据ap数值排序，其中C3、C4、C5分别为第三、四、五常量。

在可能的替换实施方式中，根据本发明的第一个方面，其中步骤S3中，当S包含整个K时，sim(S，K)＝1；其中步骤S4中，当S包含整个K1时，sim(S，K1)＝1。

在可能的替换实施方式中，根据本发明的第一个方面，其中该作品优先级wl为根据第一预设指标，设定wl不超过20的正实数，数值大者优先。