[发明专利]一种基于Subword词表的能源数据清洗方法及装置

说明书

本发明公开了一种基于Subword词表的能源数据清洗方法及装置，所述方法包括：在获取能源数据后，利用预设的Subwrod词表将所述能源数据的每个文本转换成第一文本嵌入矩阵，所述Subwrod词表是字符粒度级别的文本列表；将所述第一文本嵌入矩阵转换成符合模型输入格式的综合矩阵；将所述综合矩阵输入至预设的神经网络模型进行清洗处理，得到清洗数据。本发明可以利用字符粒度级别的Subwrod词表从能源数据中提取句子和序号并将其转换成模型的输入矩阵，再将输入矩阵输入至模型进行清洗处理得到清洗后的数据，由于Subwrod词表是字符粒度级别，不但规模小而且转换处理不会损失数据的信息量，进而能节省后续清洗计算的数据量，以缩短计算的处理耗时，提升清洗数据的处理效率。

背景技术

随着信息化技术、工业化技术及产能不断的提高，能源经济数据的规模之庞大、增长之迅速、类型之繁多、结构差异之巨大，已成为各个能源企业不得不关注的重大问题。如何将海量的能源经济大数据同当下的高新技术相结合，构建出高效、绿色的能源经济大数据清洗模型，已成为各个能源部门及企业亟待解决的重要课题。

由于能源数据的容量大，类型繁多，而且当中包含各种质量不一、不一致、不完整、不合规的数据，进而造成数据冗余等问题。为了解决数据质量的历史遗留问题，需要对海量存储的数据进行改造，并实施“数据清洗”工作。其中一种常用的数据清洗方法是：先获取能源的数据信息，建立能源数据的清洗规则库并设置能源数据的清洗执行策略；基于清洗执行策略并清洗规则库，对能源数据进行清洗，从而能识别出错误、无效和缺失数据，保证数据的一致性和可靠性。

但上述常用的方法有如下技术问题：随着时间的推移，积累的能源数据逐渐增加涉及的类型也更加广，导致构建规则库和清洗执行策略所需要的时间增加，降低了处理的效率；而且构建的规则库和执行策略庞大，计算时所调用的数据也进一步增加，进而会进一步增加计算的过长，降低了清洗计算的处理效率。

发明内容

本发明提出一种基于Subword词表的能源数据清洗方法及装置，所述方法可以利用字符粒度级别的Subwrod词表对能源数据进行转换处理，再将转换结果输入至预设的模型进行清洗处理得到清洗后的数据，由于Subwrod词表是字符粒度级别，不但规模小而且转换处理不会损失数据的信息量，进而能节省后续清洗计算的数据量，以缩短计算的处理耗时，提升清洗数据的处理效率。

本发明实施例的第一方面提供了一种基于Subword词表的能源数据清洗方法，所述方法包括：

在获取能源数据后，利用预设的Subwrod词表将所述能源数据的每个文本转换成第一文本嵌入矩阵，所述Subwrod词表是字符粒度级别的文本列表；

将所述第一文本嵌入矩阵转换成符合模型输入格式的综合矩阵；

将所述综合矩阵输入至预设的神经网络模型进行清洗处理，得到清洗数据。

在第一方面的一种可能的实现方式中，所述能源数据有N个文本组成，每个所述文本至少包含一个句子，N大于或等于1；

所述利用预设的Subwrod词表将所述能源数据的每个文本转换成第一文本嵌入矩阵，包括：

识别所述能源数据内每个文本对应句子以及每个句子所包含的序号，并利用所述预设的Subwrod词表将每个文本对应句子以及每个句子所包含的序号转换成向量，分别得到每个所述文本对应的第一句子向量和第一序号向量；

将所述第一句子向量与所述第一序号向量相加得到每个文本对应的第一相加向量；

拼接N个所述第一相加向量得到第一文本向量，对所述第一文本向量进行矩阵嵌入操作，得到第一文本嵌入矩阵。

在第一方面的一种可能的实现方式中，所述矩阵嵌入操作，具体为：将一个(1*n格式)的文本向量嵌入为一个n*m的矩阵；

嵌入计算如下式所示：