[发明专利]一种在统计信息投放频次时降低计算复杂度的方法及系统

说明书

技术领域

本发明涉及互联网信息投放领域，尤其涉及一种在统计信息投放频次时降低计算复杂度的方法及系统。 

背景技术

目前，在网站上的广告信息投放存在多种形式，例如网幅广告、文本链接广告等，最初的网络广告形式是网幅广告(banner)，其是以GIF、JPG、Flash等格式建立的图形文件，定位在网页中，大多用来表现广告内容，同时还可使用Java等语言使其产生交互性，用Shockwave等插件工具增强表现力，网幅广告分为静态、动态、交互式三种类型，静态网幅广告就是在网页上显示一幅固定的图片，动态网幅广告通常采用GIF89的格式，就是把一连串图像连贯起来形成动画，大多数动态网幅广告由2到20帧画面组成，通过不同的画面，可以传递给浏览者更多的信息，也是目前最主要的网络广告形式，交互式网幅广告需要更加直接的交互，允许浏览者在网络广告中填入数据或通过下拉菜单和选择框进行选择。文本链接广告是以文字链接的广告，即在热门站点的Web页上放置可以直接访问的其他站点的链接，通过热门站点的访问，吸引一部分流量点击链接的站点，这是一种对浏览者干扰最少，但却较为有效果的网络广告形式。基于上述不同类型的广告投放形式以及对投放效果的考虑，广告投放者进一步提出了需要满足多维度、精准、及控制观看频次等要求，从而衍生出一个逐渐普及的网站统计的新度量——Nreach。ETL，Extraction-Transformation-Loading 的缩写，中文名称为数据提取、转换和加载。Nreach作为一种视频网站的常规数据统计度量值，每天围绕着不同维度，不同时间区间的需求成为了最多的需求之一，数据统计导致了系统的计算复杂度，降低了服务器的运行效率。 

本发明提出一种以map reduce(即“映射”和“化简”)为基础的计算规则，处理海量数据，可以生成数种“多维度组合”的多样数据结果。计算期间生成“可叠加计算结果”作为数据缓冲层，用于以后复用，便于计算“当前时间”或者“持续时间段”以某指标为准的N reach数据。这种方法既可以计算多种维度组合的N reach数据结果，又可以对计算累计的Nreach程序做高效的提速。 

本发明大大节省了输入文件量级，进而很好的达到提高计算效率的目的。此外，本发明提供了满足大多数需求、稳定、可每天提供增量的数据结果并减少了工作量。 

这里所述MapReduce是一种编程模型，主要用于大规模数据集(大于1TB)的并行运算。算法原理是：指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(化简)函数，用来保证所有映射的键值对中的每一个共享相同的键组。 

新度量Nreach以reach、用户、某个维度为准，“某个用户”看“某个维度”下的广告的1次以上的为1reach；看某个广告为2次以上，那么属于1reach也属于2reach。以此类推至Nreach，一般统计到20reach，以后的例子也是以20reach为准。例：1reach＝1000的意义即，“某个维度”下观看广告一次以上广告的用户为1000位。2reach=500的意义为“某个维度”下观看广告两次以上广告的用户为500位。当然2reach的值肯定小于等于1reach。Nreach是视频行业的一个重要统计度量，有着广泛的意义。通常可以借以观察一个维度下的广告对于用户的到达 量和频次。并且现在广告商希望广告能深入人心，提出每天一个广告对于一个用户展示大于三次以上才给予付费。Nreach的数据结果能有效的统计广告的投放效果。Nreach数据统计通常围绕一个特定的维度。如一个广告合同。再根据统计合同生效的整个时段，按照：日期、网站频道、用户所在地区等维度，要求每天独立，或者数天累积的Nreach数据。 

发明内容

鉴于现有技术中存在的问题，本发明的目的在于提供一种在统计信息投放频次时降低计算复杂度的方法，其包括如下步骤：步骤(1)用户使用触发器触发信息调取；步骤(2)中央处理单元，向调取单元传送调取命令；步骤(3)调取单元遍历信息存储数据库获得最高优先级的信息，同一优先级存在多个信息的随机调取；步骤(4)在调取结束后向日志存储数据库写入相应的日志，日志是不同维度组合与相应的值的数据信息；步骤(5)根据日志信息执行第一次MapReduce以获得某一维度组合下的当天值和累计值；步骤(6)根据第一次Reduce的结果来执行第二次MapReduce以计算所述某一维度组合下的Nreach数据。