[发明专利]计算搜索服务器文本匹配程度的方法、装置以及存储介质

说明书

本发明涉及一种计算搜索服务器文本匹配程度的方法、装置以及存储介质，包括S1：数据收集的步骤；对存储在分布式文件存储系统中的数据或是存储在HIVE数据仓中的数据进行收集；S2：数据预处理的步骤；对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值；S3：因子分析的步骤；通过因子对数据进行简化，获取数据之间的依赖关系；S4：数据离散化的步骤；对于连续特征数据，采用特征离散的方法对数据进行处理；在增强鲁棒性同时也能起到简化模型以及降低模型过拟合的风险。S5：获取文本匹配程度的步骤。

技术领域

本发明属于搜索服务器算法技术领域，具体涉及一种计算搜索服务器文本匹配程度的方法、装置以及存储介质。

背景技术

ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，使用ElasticSearch时，对于查询出的文档数据会有文档相似度之分。而理想的排序是和查询条件相关性越高排序越靠前，而这个排序的依据就是_score，开源的_score计算方法多为依据词频/逆向文档频率来计算的，方法局限，且多应用于文档数据及根据某个或几个字段进行评分排序，而在一定程度上具有不准确性及应用单一性。

此为现有技术中存在的缺陷和不足；有鉴于此，本发明提供一种计算搜索服务器文本匹配程度的方法、装置以及存储介质；以解决现有技术中存在的缺陷和不足。

发明内容

针对现有技术的上述不足，本发明提供一种计算搜索服务器文本匹配程度的方法、装置以及存储介质，以解决上述技术问题。

为实现上述目的，本发明给出以下技术方案：

第一方面，本发明提供一种计算搜索服务器文本匹配程度的方法，包括以下步骤：

S1：数据收集的步骤；

对存储在分布式文件存储系统中的数据或是存储在HIVE数据仓中的数据进行收集；

S2：数据预处理的步骤；

对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值。

S3：因子分析的步骤；

通过因子对数据进行简化，获取数据之间的依赖关系；

因子分析是一种降维，简化数据的技术，通过研究多变量之间的内部依赖关系，使用少数“抽象变量”来表示基本的数据结构，即叫做“因子”，能用这些因子反应原来众多变量的主要信息。实际应用中，在数据量大，且多维的情况下，避免维灾难的问题发生，通常多用降维的技术来达到目的；更重要的是鉴于后面朴素贝叶斯算法依据于特征条件独立，所以使用因子分析的方法来达到特征条件独立的条件。这样使数据更具有代表性，也使结果提高了准确性。

S4：数据离散化的步骤；

对于连续特征数据，采用特征离散的方法对数据进行处理；在增强鲁棒性同时也能起到简化模型以及降低模型过拟合的风险。

S5：获取文本匹配程度的步骤；

调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征；

上述公式求得的概率结果作为文本匹配程度值。即得到ElasticSearch每个文档的一个对应评分，再实际应用中也可以筛选出评分相对高的文档，从而进一步进行分析，发现潜在的规律。

作为优选，该计算搜索服务器文本匹配程度的方法还包括以下步骤：