[发明专利]面向行业领域的同源样本数据分类存储的预处理方法及系统

说明书

面向行业领域的同源样本数据分类存储的预处理方法、系统，属于数据处理领域。本发明方法包括步骤S1，创建包含各行业领域平台字段的关键字集；步骤S2，获得用户网络内所有成员的网络行为日志数据，对所述网络行为日志数据进行行业领域匹配并进行行业领域划分；步骤S3，根据经过行业领域划分的所述网络行为日志数据对所述成员在各个领域内的网络行为活动进行分析，推测用户的基本属性和网络行为特性进分类储存，实现面向行业领域的同源样本数据分类存储的预处理。本发明实现同源样本数据在多个行业领域的用户行为日志集，多维度进行分类预处理存储，为用户网络行为画像和各用户之间的关联提供多维度的数据依据，具有重要作用和商业价值。

技术领域

本发明涉及数据处理领域，尤其涉及一种面向行业领域的同源样本数据分类存储的预处理方法、系统。

背景技术

互联网和云计算技术的飞速发展，促进行业应用产生的数据呈爆炸性增长，数据量的快速增长标志着人类已经从信息时代步入大数据时代。目前，百度的总数据量已超过1000PB(数据存储单位，1PB＝1024TB)；淘宝累计的交易数据高达100PB；Twitter(推特)每天发布超过2亿条消息；新浪微博每天发帖量达8000万条。2011年5月，麦肯锡咨询公司发布了名为《大数据：创新、竞争和生产力的下一个前沿领域》报告，报告中表示大数据已经成为现代社会必备的生产要素，数据与各个行业密切相关，大数据将促进未来生产率的提升。

网络用户行为是指用户在使用网络资源时呈现的规模性。这通常是通过对用户使用网络资源的数据进行记录、统计和分析得出。用户在使用网络资源是，用户行为可分为信息查询行为、沟通交流行为、休闲娱乐行为、电子服务行为和电子商务服务行为等多方面。互联网技术和大数据技术的发展，使用户对网络服务质量的要求逐步提升，网络服务提供者提供服务的方式也逐渐走向科学，通过对网络用户行为的分析和总结，可以将这些规律与产品或服务的经营策略向结合，发现目前经营服务中的问题，为进一步提高服务质量和经营策略的制定都有非常重要的意义。

发明专利CN106126113A公开了一种家庭网关业务数据分类存储管理的方法,其具体公开了根据对家庭网关内部的数据进行分类，并存储在flash(固态存储器与动画编辑器)裸分区；对各类数据的读写采用缓存机制，家庭网关上电后，根据加载流程需要某部分数据时，将相应数据从flash裸分区加载到对应缓存，再从缓存加载到内存；读时直接从内存获取，修改时直接修改缓存和内存中的数据，修改完成后，再将数据从缓存回写到对应flash裸分区中。本发明避免了多次写flash操作，同时，每次写flash时尽可能控制回写的区域范围，减少对未修改区域的重复写操作，避免了业务数据读写异常和丢失，节约了运营成本。但是，此种方法仅利用了家庭网关分析内部数据并对数据进行分类以达到减少用户操作的过程，没有利用好大量家庭数据进行分析后辅助用户进行更好的生活工作。

发明专利CN105426478A公开了一种用户行为分析的方法，提供一种用户行为分析的方法，获取用户行为数据，并对用户进行分析，将分析结果展示给商家。本方法包括：采集用户的行为数据，并上传给数据处理系统；数据处理系统对上传的行为数据进行处理；周期性地从数据处理系统中抽取数据，并存储到数据仓库系统；依据数据仓库系统中的存储数据确定用户的行为分析维度，并依据所述行为分析维度在数据库管理系统中建立数据库模型；从数据仓库系统中抽取出目标数据，对目标数据进行清洗和转换，将清洗和转换后的数据进行汇总分析，并将汇总分析后的结果数据加载到数据库管理系统的对应数据表中；将所述结果数据进行各类图形展示。

发明内容

本发明针对现有技术存在的问题，提出了面向行业领域的同源样本数据分类存储的预处理方法、系统。