[发明专利]一种基于移动新闻客户端的评估方法及其系统

说明书

本发明公开了一种基于移动新闻客户端的评估方法及其系统，涉及互联网新闻信息运营和服务平台领域，所述方法包括：步骤1：推荐内容的获取：模拟用户画像向服务器请求数据，采集服务器返回的推送内容并储存在数据库中；步骤2：对推荐内容从质量和时效两个维度进行评估；步骤3：反馈评估的最终结果。与现有技术相比，本发明从移动新闻客户端APP侧进行个性化推荐内容评估，可以模拟根据不同的用户画像对不同用户推荐的内容进行实时采集；从时效、质量两个维度评估内容的可信程度，能够良好的反映新闻信息的实时性、信息覆盖面以及内容的质量。

技术领域

本发明属于互联网新闻信息运营和服务平台领域，具体涉及一种基于移动新闻客户端的评估方法及其系统。

背景技术

近年来，随着人工智能技术的发展，个性化推荐算法逐步在新闻推送、网络直播、小视频推送、商品等场景中得到了广泛的应用。特别在新闻信息推荐领域，丰富的资讯资源、实时的信息推送和方便的社交互动被越来越多的用户认可。如何能够更好地评估新闻信息推荐系统成为了新的课题。

现有的技术方案一般为：

内容获取方法：根据获取到的新闻客户端的数量创建相同数量的线程，获取系统的中央处理器CPU的核心数量并根据预设规则将每个线程绑定在相应的CPU核心上；将同一CPU核心上的所有预置解析队列中的数据存储于对应的预置输出队列中，当接收到输出指令时则将预置输出队列中的数据传送于预置数据库中，以便基于预置数据库中的数据实现对新闻客户端数据的监管。

内容评估方法：推荐系统的评估指标一般从多个维度：用户感受、算法精度以及商业目标。

而这种方法会带来诸多问题，比如：

在内容获取方法上,直接获取每个新闻客户端的栏目内容的方式，难以针对推荐系统对每个用户的推荐内容进行评估；

在内容评估上，目前的评价指标都是基于通用的推荐算法的，并无专门针对新闻信息推荐系统进行评价的相关指标。

发明内容

针对现有技术中存在的诸多问题，本发明的目的是：提出了一种基于移动新闻客户端的评估方法及其系统，通过获取移动新闻客户端个性化推荐的内容，实时分析推荐内容，从多维度评估推荐内容的可信程度。

为了实现上述目的，本发明所采用的技术方案为：

一种基于移动新闻客户端的评估方法，包括：

步骤1：推荐内容的获取：模拟用户画像向服务器请求数据，采集服务器返回的推送内容并储存在数据库中；

步骤2：对推荐内容从质量和时效两个维度进行评估；

步骤3：反馈评估的最终结果。

进一步的，所述步骤1具体方法为：首先预先设定好用户操作指令，包括：刷新、阅读、点赞，然后模拟用户操作指令，通过adb方式传输给虚拟化的新闻客户端，新闻客户端根据指令通过模拟点击向服务器请求数据，服务器则向新闻客户端返回推送的个性化内容，最后利用hook服务器从新闻客户端中获取推荐内容，并将推荐内容保存到数据库中。

进一步的，所述步骤2中内容质量评估的具体方法为：首先进行不良内容识别：采用序列标注的方法，构建大量标记不良内容词汇的训练数据，进行模型训练；将获取到的推荐数据使用训练好的模型进行预测，判断是否包含不良内容词语，若包含则提取并记录，若不包含，则进行“标题党内容”识别；

所述“标题党”内容识别：采用二分类的模型，构建大量训练数据，将标题与文章正文共同作为模型输入，标题与文章相符的标记为1，标题与文章不符的标记为0，进行分类模型训练；将获取到的推荐数据的标题与文章正文输入到模型中，判断是否为“标题党”内容；