[发明专利]一种基于自然语言处理形成用户画像的方法

说明书

本发明公开了一种基于自然语言处理形成用户画像的方法，包括以下步骤：搭建大数据管理平台CDH，建立关键词分类机制，通过这种方法建立完善可迭代的语料库，用于精准分词和推荐文章聚类算法，获得结构化的文章标签描述，通过特征学习获取用户标签，运用NLP技术，结合大数据与机器学习的方式，综合反馈用户的喜好和需求，形成用户画像。本发明在CDH平台上搭建完善的数据处理系统，通过分布式数据平台达成数据的快速处理，以应对每日的海量用户数据，计算速度比较过去更快，首创多种算法加权结合，让用户画像更为精准准确，实时计算更新数据，能更好为用户服务。

技术领域

本发明属于用户画像技术领域，具体涉及一种基于自然语言处理形成用户画像的方法。

背景技术

如今随着互联网数据量的指数式增长，如何在海量数据中精准的获得用户需求已经成为所有互联网公司避不开的一个问题，所以近几年的新兴互联网技术，包括数据挖掘，人工智能，机器学习都是为处理海量数据而出现的，互联网已经进入了大数据时代，而NLP在大数据时代占据有举足轻重的地位，在日常业务当中，可以应用于各个领域例如文章推送，用户画像，内容审核，情感倾向分析，AI客服等等，具有相当广泛的使用价值和应用前景。

自然语言处理(NPL)是人工智能领域最困难的问题之一，结合公私的大量浏览数据，通过分析文章关键词情感倾向，通过神经网络算法推测出用户标签，再根据用户喜好进行文章推送，同时会根据近期的用户浏览记录进行相应更新，提高用户使用体验。

目前的用户画像系统主要通过三个步骤进行用户画像，首先通过文章分词系统，获取文章关键词，文章标签获取情感倾向，其次整理用户当前浏览记录和历史访问行为分析用户偏好，最后通过神经网络分析用户浏览文章关键词获取用户标签，形成用户画像。

然而目前的用户画像系统在用户访问行为偏少的情况下难以得到准确的用户偏好，无法得到精确地用户画像，由于用户访问行为与访问习惯的不同，访问记录中会存在相当程度的无用信息，需要对冗余信息进行过滤，由于爬虫和网络机器人的客观存在，对用户画像也会形成一定程度的干扰。因此，我们提出一种可以得到准确的用户画像避免干扰的基于自然语言处理形成用户画像的方法。

发明内容

本发明的目的在于提供一种基于自然语言处理形成用户画像的方法，以解决上述背景技术中提出现有技术中在用户访问行为偏少的情况下难以得到准确的用户偏好，无法得到精确地用户画像，且由于用户访问行为与访问习惯的不同，访问记录中会存在相当程度的无用信息，需要对冗余信息进行过滤，由于爬虫和网络机器人的客观存在，对用户画像也会形成一定程度的干扰的问题。

为实现上述目的，本发明采用了如下技术方案：

一种基于自然语言处理形成用户画像的方法，包括以下步骤：

S1、搭建大数据管理平台CDH，通过网络连接、存储器连接或服务器连接，将文章信息以及用户信息转移至大数据管理平台CDH上进行处理，通过分布式计算的形式提高处理速度以及可处理数据的量级；

S2、建立关键词分类机制，将关键词先向量化，然后把词向量获取的词语近似程度，通过K值聚类进行聚类，归类到主题之下，通过这种方法建立完善可迭代的语料库，用于精准分词和推荐文章聚类算法；

S3、获得结构化的文章标签描述：通过数据源利用文章信息标签库，通过数值型数据归一化、非数值型数据词袋法转换为特征向量以及TF-IDF算法，并引入LDA处理方法进行内容分析，从而得出文章的结构化标签描述；

S4、通过特征学习获取用户标签：利用当前用户历史浏览的文章特征数据，使用机器学习的分类算法、决策树算法构建一个用户的描述信息或模型；

S5、运用NLP技术，结合大数据与机器学习的方式，综合反馈用户的喜好和需求，形成用户画像。