[发明专利]一种网页文本信息的监控方法、装置及设备

权利要求书

1.一种网页文本信息的监控方法，其特征在于，包括：

获得网络上的待检测网页；

调用预设智能合约，对所述待检测网页进行分析，确定所述待检测网页是否为网络上的相似文本；

在所述待检测网页并非为网络上的相似文本时，获得所述待检测网页的网页数据文本块；

将所述网页数据文本块写入区块链中。

2.根据权利要求1所述的网页文本信息的监控方法，其特征在于，所述方法还包括：在所述待检测网页为网络上的相似文本时，丢弃所述待检测网页。

3.根据权利要求1所述的网页文本信息的监控方法，其特征在于，所述预设智能合约包括网页解析合约和内容相似度比较合约，调用预设智能合约，对所述待检测网页进行分析，确定所述待检测网页是否为网络上的相似文本，包括：

通过所述网页解析合约解析所述待检测网页的网页正文，形成网页结构体；所述网页结构体包括网页文本内容；

通过所述内容相似度比较合约，将所述网页文本内容转化为指纹，根据所述指纹计算所述待检测网页与网络上文本的海明距离；

在所述海明距离大于或等于预设距离值时，确定所述待检测网页并非为网络上的相似文本；在所述海明距离小于所述预设距离值时，确定所述待检测网页为网络上的相似文本。

4.根据权利要求3所述的网页文本信息的监控方法，其特征在于，所述预设智能合约还包括信息价值评估合约，所述网页结构体还包括网页信息来源和网页时间；所述方法还包括：

通过所述信息价值评估合约，根据所述网页信息来源评估网页文本内容的价值，获得价值评估；

根据所述网页时间确定时间戳；

其中，所述网页数据文本块包括所述网页文本内容的指纹、所述时间戳和所述价值评估。

5.根据权利要求3所述的网页文本信息的监控方法，其特征在于，通过所述网页解析合约解析所述待检测网页的网页正文，形成网页结构体，包括：

所述网页解析合约检测所述待检测网页是否符合为文本类网页的响应条件；

在所述待检测网页为符合文本类网页的响应条件时，所述网页解析合约根据所述待检测网页的布局类型对所述待检测网页的网页正文进行解析，形成网页结构体。

6.根据权利要求5所述的网页文本信息的监控方法，其特征在于，所述网页解析合约根据所述待检测网页的布局类型对所述待检测网页的网页正文进行解析，包括：

采用与所述待检测网页的布局类型对应的网页解析合约，对所述待检测网页的网页正文进行解析。

7.根据权利要求4所述的网页文本信息的监控方法，其特征在于，通过所述信息价值评估合约，根据所述网页信息来源评估网页文本内容的价值，获得价值评估，包括：

所述信息价值评估合约依据所述网页信息来源确定的网站性质，采用与所述网站性质相对应的信息价值评估函数，评估网页文本内容的价值，获得价值评估。

8.根据权利要求3所述的网页文本信息的监控方法，其特征在于，通过所述内容相似度比较合约，将所述网页文本内容转化为指纹，根据所述指纹计算所述待检测网页与网络上文本的海明距离，包括：

所述内容相似度比较合约通过simhash算法将所述网页文本内容转化为指纹；

将所述指纹的二进制数据与网络上文本的指纹的二进制数据进行比较，确定所述海明距离。

9.一种网页文本信息的监控装置，其特征在于，包括：

获取模块，用于获得网络上的待检测网页；

分析模块，用于调用预设智能合约，对所述待检测网页进行分析，确定所述待检测网页是否为网络上的相似文本；

数据模块，用于在所述待检测网页并非为网络上的相似文本时，获得所述待检测网页的网页数据文本块；

输出模块，用于将所述网页数据文本块写入区块链中。