[发明专利]视频搜索评价方法和系统

说明书

本发明提供了一种视频搜索评价方法和系统，该方法包括：将一个视频搜索请求进行两次视频检索，并且两次检索使用不同的视频搜索策略，并对采用不同视频搜索策略搜索得到的两种视频排序结果进行重新排序，并将排序后的目标视频排序结果返回给用户，使得用户的一次视频搜索请求的响应结果可以命中两种视频搜索策略，并基于用户对该目标视频排序结果中选取的多个目标候选视频，来判断每个目标候选视频在上述两种视频排序结果中分别所处的排列次序的大小关系，从而评价两种视频搜索策略的优劣。提升了对视频搜索策略评价的灵敏度，并降低了测试流量的占比。

技术领域

本发明涉及视频搜索技术领域，特别是涉及一种视频搜索评价方法和系统。

背景技术

目前，随着软件版本的不断升级和改进，视频软件中常常会涉及视频搜索策略的更新迭代，那么为了确定新的视频搜索策略是否优于目前的已有视频搜索策略，一般在将新的视频搜索策略上线之前通过A/B test的方式进行评估。

具体而言，A/B test的对照组(例如应用已有视频搜索策略A的流量)和实验组(例如应用新的视频搜索策略B的流量)一般分配在不同的方法策略桶(bucket)中，一个bucket表示一份流量。即，分配至bucket_A的流量(视频搜索请求)会使用视频搜索策略A进行视频搜索，分配至bucket_B的流量(视频搜索请求)会使用视频搜索策略B进行视频搜索，然后，将视频搜索结果均返回给相应的用户，最后，根据用户对视频搜索结果的点击量、转化量等参数，来确定哪种视频搜索策略更具优势。

由此可见，A/B test评估方法需要对每种视频搜索策略都分配一个方法策略桶(即一份流量)，那么在评估视频搜索策略时，则需要多份流量，而当系统分配的用于测试的流量较少时，则会使得每种视频搜索策略分配到的流量更少，容易造成评估不准确的问题。

此外，一般新上线的视频搜索策略B与已有视频搜索策略A之间的差异很小，例如只是几个参数的权重有比较小的改变等，但是，A/B test却容易给出波动较大的评价结果，使得评价灵敏度较差。

由此可见，传统技术中的视频搜索评价方案普遍存在着测试流量占比高、测试灵敏度差的问题。

发明内容

本发明提供了一种视频搜索评价方法和系统，以解决现有技术中的视频搜索评价方案所存在的测试流量占比高、测试灵敏度差的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种视频搜索评价方法，包括：

将目标视频搜索请求分两次发送至视频检索模块，其中，两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记，其中，所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求；

接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果，其中，所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果，第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果，其中，所述第一视频排序结果包括N个候选视频，所述第二视频排序结果包括所述N个候选视频，N大于等于1；

根据所述第一视频排序结果和所述第二视频排序结果，对所述N个候选视频重新排序，得到目标视频排序结果；

响应于所述目标视频搜索请求，将所述目标视频排序结果返回至用户；

确定所述用户在所述目标视频排序结果中选取的多个目标候选视频；

获取所述多个目标候选视频中每个目标候选视频在所述第一视频排序结果所处的第一排列次序以及在所述第二视频排序结果中所处的第二排列次序；

根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系，评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。