[发明专利]一种基于多数据源的营销知识文本匹配方法

权利要求书

1.一种基于多数据源的营销知识文本匹配方法，其特征在于：包括如下步骤：

步骤S10、获取大量包括三元组数据以及文本数据的营销知识文本；

步骤S20、对各所述营销知识文本进行预处理，进而构建文本数据集；

步骤S30、创建一文本匹配模型，利用所述文本数据集对文本匹配模型进行训练以及调优；

步骤S40、评估所述文本匹配模型的性能；

步骤S50、利用所述文本匹配模型对待匹配文本数据进行相似匹配。

2.如权利要求1所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述步骤S10具体为：

从图数据库中获取大量的营销知识的三元组数据，提取所述三元组数据中的实体词和关系词并进行拼接；

从关系型数据库中获取大量的营销知识的文本数据；

合并各所述三元组数据以及文本数据得到营销知识文本。

3.如权利要求1所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述步骤S20具体包括：

步骤S21、去除各所述营销知识文本的噪声数据；

步骤S22、对各所述营销知识文本进行去重处理；

步骤S23、利用分词工具对各所述营销知识文本进行分词操作得到若干个词组，基于预设的停用词表去除所述词组中的停用词；

步骤S24、将各所述词组作为正样本，并为各所述正样本选取预设数量个领域不同的词组作为负样本，进而构建文本数据集。

4.如权利要求3所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述步骤S21中，所述噪声数据至少包括URL、图片、表情、ID、特殊符号以及请求时间。

5.如权利要求1所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述步骤S30中，所述文本匹配模型包括一向量化模块、一全局相关性聚合模块以及一输出模块；所述全局相关性聚合模块的输入端与向量化模块连接，输出端与输出模块连接。

6.如权利要求5所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述向量化模块用于对三元组数据以及文本数据进行向量化；

所述对三元组数据进行向量化具体为：

利用BERT预训练模型对三元组数据的每一元数据进行向量化处理，得到每一元数据的第一Word Embedding；

创建一参数矩阵，利用所述参数矩阵将各第一Word Embedding映射到指定的文本长度，得到第二Word Embedding；

利用softmax函数重新量化所述第二Word Embedding的权重，得到第三WordEmbedding；

将所述第一Word Embedding与第三Word Embedding进行对比融合后，经过池化操作得到三元组向量，完成三元组数据的向量化；

所述对文本数据进行向量化具体为：

基于字粒度，利用BERT预训练模型将所述文本数据转换为BERT Embedding；

基于词粒度，利用Word2Vec模型将所述文本数据转换为第四Word Embedding；

结合平均池化以及最大池化对所述BERT Embedding以及第四Word Embedding进行融合，得到文本数据向量，完成文本数据的向量化。

7.如权利要求5所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述全局相关性聚合模块采用Bi-LSTM网络，学习匹配所述向量化模块输出的向量序列与真实匹配度之间的映射关系；

所述Bi-LSTM网络选择交叉熵作为损失函数，并通过反向传播算法进行训练。

8.如权利要求5所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述输出模块用于通过sigmoid函数输出二分类结果。

9.如权利要求1所述的一种基于多数据源的营销知识文本匹配方法，其特征在于：所述步骤S40具体包括：

步骤S41、通过评估公式评估所述文本匹配模型的性能：

F1＝(2*P*R)/(P+R)；

P＝TP/(TP+FN)；

R＝TP/(TP+FP)；

其中，F1表示性能得分；P表示精确率；R表示召回率；TP表示实际意图为A，预测意图为A；FN表示实际意图为A，预测意图不为A；FP表示实际意图不为A，预测意图为A；

步骤S42、判断所述性能得分是否大于预设的性能阈值，若是，则进入步骤S50；若否，则扩充所述文本数据集，并进入步骤S30。