[发明专利]一种自然语言长文本生成方法

说明书

本发明公开了一种自然语言长文本生成方法，包括如下步骤：首先，将语言看做一种数据，对文本内容作自然语言处理建立大数据体系；其次，运用文本摘要模型，通过算法解决文本主题归纳问题；通过分布式爬虫实时更新语料，并传递给算法，实现长文本生成。本发明解决使用RNN模型下的文本漂移问题，摆脱了之前文本复述领域对训练数据的极高要求，更加贴近人类复述能力，通过分布式爬虫实时更新语料，并传递给算法，实现了秒级的长文本生成能力，并且我们的模块化处理成本更低效果也令人满意。

技术领域

本发明涉及一种方法，具体是一种自然语言长文本生成方法。

背景技术

现有的自然语言长文本生成方法，在使用RNN模型下存在文本漂移问题，从char-rnn及其衍生的word-rnn运行文本生成的效果发现，由于rnn只关注了输入之间的概率关系，缺乏对文本主题的建模。这个情况到seq2seq模型仍然存在，即算法无法像人类那样关注整体的同时也关注细节。

发明内容

本发明的目的在于提供一种自然语言长文本生成方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种自然语言长文本生成方法，包括如下步骤：首先，将语言看做一种数据，对文本内容作自然语言处理建立大数据体系；其次，运用文本摘要模型，通过算法解决文本主题归纳问题；通过分布式爬虫实时更新语料，并传递给算法，实现长文本生成；引入注意力机制，包括：第一步打分score，通过非线性函数tanh扭曲h_t和h_s；第二步是做score的softmax将值域压缩为权重a_t；第三步是将权重a_t分配给h_s'形成context即c_t；第四步是将c_t和h_t作非线性变换生成h_t～。

作为本发明进一步的方案：所述分布式爬虫用于抓取即时的上市公司财务报告，并且设定了定时运行功能，在全自动全天候实现自动下载财经信息到本地服务器。

作为本发明进一步的方案：还包括使用mongo数据库进行实时的插入，更新与查询。

作为本发明再进一步的方案：还包括在所述注意力机制中引入文风修饰模块和文本摘要算法，使长文本生成的内容更加个性化，以及具有文本的再加工能力。

与现有技术相比，本发明的有益效果是：本发明解决使用RNN模型下的文本漂移问题，摆脱了之前文本复述领域对训练数据的极高要求，更加贴近人类复述能力，通过分布式爬虫实时更新语料，并传递给算法，实现了秒级的长文本生成能力，并且我们的模块化处理成本更低效果也令人满意。

附图说明

图1为自然语言长文本生成方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。