[发明专利]一种表单交互图形展示与选择方法

权利要求书

1.一种表单交互图形展示与选择方法，其特征在于，所述方法包括：

通过网络获取大量前端通用表单图形及描述文本，构建样本数据集；对描述文本进行语义简化；对样本数据集进行预处理，筛选出能够生成简短而明确的语义的图形数据作为候选训练集；对文本对应的图形进行组合，实现通过文本输出表单图形，所述对文本对应的图形进行组合，实现通过文本输出表单图形，具体包括：根据候选训练集中的描述文本输出表单图形，通过候选训练集构建视觉词袋模型，实现输入表单图形内容输出表单图形；基于界面需求挑选生成的图形并排序，所述基于界面需求挑选生成的图形并排序，具体包括：获取界面功能性需求，根据需求对图形排序，获取界面美观性需求，根据需求对图形排序；预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述，所述预测用户使用一个图形后，下一次拖拽的图形，进行闪动，减少图形文字描述，包括:首先，根据用户操作习惯预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动，并浮动显示图形描述文本；根据用户响应时间原则预设第四阈值，当闪动时长大于等于第四阈值时或检测到用户的拖拽行为时停止闪动；闪动停止后，根据用户鼠标浮动区域预测下一次拖拽的图形编号，并输出所述图形编号对应的描述文本，进行闪动；当用户鼠标浮动区域改变时，描述文本的内容也随之改变；监督用户操作行为，若监听到用户点击了搜索框，则根据用户输入文本预测下一次拖拽的图形并进行闪动；具体包括：根据用户操作习惯预测下一次拖拽的图形；根据用户鼠标浮动区域预测下一次拖拽的图形；根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动；获取用户经常拖拽又替换，错误使用的歧义图形，进行图形替换；对用户进行使用习惯聚类，对能够理解图形意义的用户，展示不同图标；

其中，所述根据用户操作习惯预测下一次拖拽的图形，具体包括:

获取用户一年内的行为数据，包括用户操作界面、拖拽的图形编号及操作时间；整理用户的行为数据，对每种操作界面根据操作时间按照从早到晚的顺序排序，并赋予操作顺序码；生成训练数据集，包括用户操作界面、拖拽的图形编号、操作顺序码；将训练数据集输入神经网络模型进行训练；然后采集当前用户的操作界面、已拖拽的图形编号和操作时间；根据操作时间从早到晚排序并赋予操作顺序码，并生成输入集，包括当前用户的操作界面、已拖拽的图形编号、操作顺序码；将输入集输入训练好的神经网络，预测下一个操作顺序码对应的图形编号；

所述根据用户鼠标浮动区域预测下一次拖拽的图形，具体包括:

获取用户鼠标浮动位置的坐标，以该坐标为中心制定一个固定大小的候选框；将候选框的图像内容转化成像素点，并输入卷积神经网络提取候选框的图像特征；从数据库中加载候选训练集，包括编号、表单图形，输入随机森林分类器中训练；将卷积神经网络提取的图像特征输入训练好的随机森林分类器中；经过随机森林分类器计算得到候选框的图像内容对应的编号；

所述根据用户输入文本预测下一次拖拽的图形，并进行自动生成和闪动，具体包括:

将候选训练集输入生成对抗网络中训练，对表单图形进行特征提取，实现自动生成新的图形；获取用户输入的文本内容，使用jieba分词对文本内容进行分词；将分词后的文本内容输入文本编码器，得到文本句子的特征向量及词语特征向量；然后将文本句子的特征向量及词语特征向量输入训练好的生成对抗网络；通过生成对抗网络的三个阶段的处理实现文字生成图形，第一阶段输入文本句子的特征向量及词语特征向量，输出64*64的图形，第二阶段输入所述64*64的图形，得到128*128的图形，第三阶段输入所述128*128的图形，最终得到256*256的图形；输出生成的图形，并进行闪动。

2.根据权利要求1所述的方法，其中，所述通过网络获取大量前端通用表单图形及描述文本，构建样本数据集，包括:

通过爬虫获取前端通用表单图形及描述文本，并构建样本数据集；首先，获取网站根目录；然后，使用hasRootIcon函数识别该网站中是否包括表单图形文件；若hasRootIcon函数存在返回值，则获取表单图形的下载地址及描述文本；若hasRootIcon函数没有返回值，则无法获取表单图形的下载地址及描述文本；将下载的表单图形及描述文本存入数据库中，并对每个表单图形进行编号，作为样本数据集。