[发明专利]基于数据模板的海量文本监控方法及装置、介质、设备

摘要

本发明提供了一种基于数据模板的海量文本监控方法及装置、介质和设备，通过定期采集当前周期内的多条文本数据作为增量文本数据，利用基于密度的聚类算法选取增量文本数据中的目标增量模板数据；利用预先训练的目标文本分类神经网络模型识别各目标增量模板数据对应的行业类别和各行业类别的行业增量模板数据；获取行业类别的行业增量模板数据和原有的行业历史模板数据，判断是否存在行业新增模板数据；若存在行业新增模板数据，利用行业新增模板数据检验该行业类别的行业应用模型的泛化性能。通过本发明，可以减少重复的数据标注工作，分行业监控数据模板变化趋势和应用模型的泛化性能，及时地进行应用模型更新，从而指导下游任务方向。