[发明专利]新闻素材的采集方法及装置、存储介质、电子装置

说明书

本发明提供了一种新闻素材的采集方法及装置、存储介质、电子装置，其中，该方法包括：采用限制来源的方式从指定数据源采集目标主题的第一新闻源数据；提取所述第一新闻源数据中的第一关键词集合，并基于所述第一关键词集合采用非限制来源的方式从搜索引擎采集第二新闻源数据；提取所述第二新闻源数据中的第二关键词集合；根据所述第一关键词集和所述第二关键词集合生成所述目标主题的新闻素材。通过本发明，解决了相关技术采集新闻素材的准确率低的技术问题，同时提高了多源文本数据的采集效率，降低了新闻数据的冗余度。

技术领域

本发明涉及计算机领域，具体而言，涉及一种新闻素材的采集方法及装置、存储介质、电子装置。

背景技术

相关技术中，随着新闻数字化的兴起，网络新闻信息爆炸式增长。网络上存在着海量的新闻内容，在这些新闻之中，因新闻报道者的不同，新闻内容也会存在着差异，但本质上还是同一个新闻主题。同时，网络上的海量新闻以文章的形式呈现居多，人们想要得到一些新闻消息时需要额外花费不少时间。现代信息技术和存储技术的快速发展以及互联网的迅速蔓延，以网络为载体的网络新闻兴起，网络新闻信息爆炸式增长，其中可能存在一些虚假新闻，而如何辨别筛选出可信度高的新闻是一个关键的问题。同时，现代人们工作生活节奏加快，如何使人们在短时间内快速了解新闻信息是一个重要的问题，面对这两个挑战性问题，只依靠人力来解决不仅低效且难以实现，所以能够对海量数据进行智能化处理的人工智能技术成为现在的研究热点，并在近些年得到快速发展，各种基于人工智能技术的系统层出不穷。利用文本摘要抽取技术，根据这些同一主题但不同描述内容的新闻信息得到简短且有可靠性的新闻摘要，人们能通过新闻摘要快速了解新闻内容。

相关技术中，信息技术和存储技术的快速发展以及互联网的迅速蔓延，以网络为载体的网络新闻兴起，网络新闻信息爆炸式增长，其中可能存在一些虚假新闻，而如何辨别筛选出可信度高的新闻是一个关键的问题。同时，现代人们工作生活节奏加快，如何使人们在短时间内快速了解新闻信息是一个重要的问题，面对这两个挑战性问题，只依靠人力来解决不仅低效且难以实现，所以能够对海量数据进行智能化处理的人工智能技术成为现在的研究热点，并在近些年得到快速发展，各种基于人工智能技术的系统层出不穷。

相关技术中，人工智能应用系统在数据采集环节采取的爬取策略单一，采集到的数据可能会造成后续机器学习的性能影响，尤其比如像新闻信息数据，若在采集的时候没有针对虚假新闻的处理，能可能会导致虚假新闻也进入到了机器学习过程，进而对最终的应用系统造成不良影响。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种新闻素材的采集方法及装置、存储介质、电子装置。

根据本发明的一个实施例，提供了一种新闻素材的采集方法，包括：采用限制来源的方式从指定数据源采集目标主题的第一新闻源数据；提取所述第一新闻源数据中的第一关键词集合，并基于所述第一关键词集合采用非限制来源的方式从搜索引擎采集第二新闻源数据；提取所述第二新闻源数据中的第二关键词集合；根据所述第一关键词集和所述第二关键词集合生成所述目标主题的新闻素材。

可选的，根据所述第一关键词集和所述第二关键词集合生成所述目标主题的新闻素材包括：对比所述第一关键词集和所述第二关键词集合，提取所述第一关键词集和所述第二关键词集合在第一采集周期的第一共有关键词集合；判断所述第一共有关键词的数量是否小于预设阈值；若所述第一共有关键词的数量小于预设阈值，将所述第一关键词集和所述第二关键词输出所述目标主题的新闻素材；若所述第一共有关键词的数量大于或等于预设阈值，以所述第二关键词集合为起始关键字继续迭代提取关键字集合，直到迭代后的第n采集周期的第n共有关键词集合的数量小于预设阈值，其中，n为大于0的整数。