[发明专利]基于海量跨屏收视行为数据的采集汇聚方法

摘要

本发明公开了一种基于海量跨屏收视行为数据的采集汇聚方法。该方法主要解决的是面对越来越灵活的双向新媒体业务，通过双向网络及互联网的信息回传优势，将DVB双向终端、IPTV、OTT、智能电视、手机、平板电脑等智能终端用户的多屏收视行为数据进行采集，并融合时间数据、频道数据、节目数据、广告数据等基本信息数据，将多维度用户收视行为数据进行采集与汇聚，并实现向各业务系统进行实时分发，做到数据集中汇聚与共享。通过该方法可利用运营商双向网络及互联网的信息回传优势，以最经济的投入获取海量用户的多屏收视行为数据，并实现多维度用户数据的采集、汇聚、实时分发与共享。

主权项

1.基于海量跨屏收视行为数据的采集汇聚方法，该方法通过设立包括由终端采集模块、认证配置模块、前置采集模块、中心数据汇聚模块、分布式存储和计算模块、实时统计模块这六个模块为主组成的系统，并设置以下运行机制：终端采集模块：监听终端业务应用，把用户操作产生的用户行为数据，回传到前置采集模块；用于对在网的智能终端进行用户行为数据的采集，终端业务应用将用户行为数据通过中间件的消息接口发送给终端采集模块，再由采集模块统一向前端上报全部业务数据和心跳数据；认证配置模块：主要负责对智能终端进行合法性认证，并对终端及前置采集模块进行采集策略的配置，配置信息包括传输方式、传输开关、上传周期这些信息；前置采集模块：前置采集模块主要用于采集智能终端提交的用户行为数据，并将接收到的用户行为数据，实时上报中心数据汇聚模块；即智能终端通过终端采集模块利用回传协议将用户行为数据提交到前置采集模块，前置采集模块通过数据采集服务器获取提交的用户行为数据后，将数据记录到本地的日志文件，防止数据丢失；中心数据汇聚模块：用以接收前置采集模块传输的用户行为数据及第三方对接系统的内容数据，并负责把接收到的数据汇总，日志记录，同时再分发给分布式存储与计算模块、实时统计模块、第三方业务系统，具有进行接收、分发、高速稳定、可靠的功能结构；分布式存储和计算模块：接收数据并存储，为非实时数据分析所用；分布式存储和计算模块采用hadoop存储集群，负责对中心数据汇聚模块分发过来的用户行为数据进行清洗、过滤、转换这些预处理工作，最终形成有效的用户行为数据集合并进行存储，同时提供经过预处理后的有效用户行为数据供第三方业务系统使用；实时统计模块：实时统计模块是以中心数据汇聚模块的实时数据为基础，通过算法计算并展示数据，供操作人员直观的分析数据。