[发明专利]语义分析方法及系统

摘要

本发明公开了一种语义分析方法，属于计算机领域。所述方法包括：获取训练语料；按照文档维度和词维度将所述训练语料切分成a*M*M个数据块；对切分出的所述a*M*M个数据块进行迭代采样，输出最终收敛的采样模型；根据所述最终收敛的采样模型进行语义分析。本发明通过将获取到的训练语料切分成a*M*M个数据块，对切分出的数据块进行迭代采样，输出最终收敛的采样模型，根据输出的最终收敛的采样模型进行分析。由于切分获得的数据块可以分别单独进行采样，从而可以降低单进程的内存需求，解决了现有技术中当要训练的隐含语义较多时对单进程的内存要求较高的问题，达到提高训练效率的目的。

主权项

1.一种语义分析方法，其特征在于，所述方法包括：获取训练语料，所述训练语料中包括N个训练文档，每个所述训练文档中包括至少两个词；将所述训练语料中的所有文档切分成a*M个文档组，其中，a为大于等于1的整数，且a*M小于所述训练文档的个数N，N≥2；统计所述训练语料中每一个词的出现频次，将每一个所述文档组中的词按照所述出现频次从高到低的顺序进行排序；分别将每一个所述文档组中的词按照排序结果依次切分至所述文档组对应的M个数据块中预定频次最小的数据块中，得到a*M*M个数据块，所述预定频次是当前数据块中已划分有的各个词各自的出现频次之和；对所述a*M*M个数据块进行迭代采样，输出最终收敛的采样模型；根据所述最终收敛的采样模型进行语义分析。