[发明专利]一种网页文本信息的监控方法、装置及设备

说明书

本发明提供了一种网页文本信息的监控方法、装置及设备。该方法包括：获得网络上的待检测网页；调用预设智能合约，对所述待检测网页进行分析，确定所述待检测网页是否为网络上的相似文本；在所述待检测网页并非为网络上的相似文本时，获得所述待检测网页的网页数据文本块；将所述网页数据文本块写入区块链中。采用该方法，利用区块链的智能合约，进行网页文本数据监控，以能够针对区块链技术，解决目前网上信息的海量增长，无法判断网页数据源头众、无法校验信息可信度、无法体现信息的真实价值的问题。

技术领域

本发明涉及内容安全技术领域，尤其是指一种网页文本信息的监控方法、装置及设备。

背景技术

随着移动互联网时代的发展，移动通信产业与新闻媒介融合形成了一种新的媒体形式叫做新媒体，以往人们只能从报纸、电视等媒介获得的信息，现在互联网网页承载的信息的传播速度更快、受众范围更广。信息从最初的有资质的媒体报道，变成了只要有终端和网络便可人人参与，更多信息为博眼球从最初“复制粘贴”抄写新闻，演变为后续的“编辑修改”等加入个人情感倾向，甚至更严重出现虚假信息，目前信息的可信度无法衡。因此，如何辨别“第一手”网页信息来源，及判断网页内容的可信度显得十分重要。

现有技术中的网页文本内容检测方法，多采用文本相似度的计算，但往往未考虑区块链本身容量的限制问题，文本生成的向量其数量庞大不适合在区块链上部署。或者，只使用区块链技术的比较操作，其存在一点限制。而且传统哈希算法，其设计的目的是为了让整个分布尽可能地均匀，数据轻微变化hash值会发生很大变化，不适合应用于文本相似性比较。

发明内容

本发明技术方案的目的在于提供一种网页文本信息的监控方法、装置及设备，用于解决现有技术针对互联网上信息的海量增长，针对区块链技术，无法提供可以适用的、能够判断网页数据源头以及校验信息可信度方法的问题。

本发明实施例提供一种网页文本信息的监控方法，其中，包括：

获得网络上的待检测网页；

调用预设智能合约，对所述待检测网页进行分析，确定所述待检测网页是否为网络上的相似文本；

在所述待检测网页并非为网络上的相似文本时，获得所述待检测网页的网页数据文本块；

将所述网页数据文本块写入区块链中。

可选地，所述的网页文本信息的监控方法，其中，所述方法还包括：在所述待检测网页为网络上的相似文本时，丢弃所述待检测网页。

可选地，所述的网页文本信息的监控方法，其中，所述预设智能合约包括网页解析合约和内容相似度比较合约，调用预设智能合约，对所述待检测网页进行分析，确定所述待检测网页是否为网络上的相似文本，包括：

通过所述网页解析合约解析所述待检测网页的网页正文，形成网页结构体；所述网页结构体包括网页文本内容；

通过所述内容相似度比较合约，将所述网页文本内容转化为指纹，根据所述指纹计算所述待检测网页与网络上文本的海明距离；

在所述海明距离大于或等于预设距离值时，确定所述待检测网页并非为网络上的相似文本；在所述海明距离小于所述预设距离值时，确定所述待检测网页为网络上的相似文本。

可选地，所述的网页文本信息的监控方法，其中，所述预设智能合约还包括信息价值评估合约，所述网页结构体还包括网页信息来源和网页时间；所述方法还包括：

通过所述信息价值评估合约，根据所述网页信息来源评估网页文本内容的价值，获得价值评估；

根据所述网页时间确定时间戳；

其中，所述网页数据文本块包括所述网页文本内容的指纹、所述时间戳和所述价值评估。