[发明专利]基于视觉决策的选择触发方法

摘要

基于视觉决策的选择触发方法属于自适应系统领域。本发明是一种适合于眼动人机交互系统中，基于用户的视觉模式得到用户偏好与决策信息、通过融合多项眼动指标与时间序列来获得用户选择触发时机的预测方法，即基于视觉决策的选择触发方法。本发明第一步收集与采样用户视觉决策数据：收集用户的注视数据，瞳孔直径数据及对应的点击选择数据；对收集到的数据按时间轴进行采样，得到用户进行选择时的注视数组与瞳孔直径数组。第二步拟合用户视觉决策曲线，并确定相关参数：对视觉决策曲线进行拟合，得到注视时间与瞳孔直径对应决策时间轴的函数，确定触发的阈值。本方法为自适应的用户视觉决策模型建立，无需用户进行额外的配合，方便使用，预测结果良好。

主权项

基于视觉决策的选择触法方法，其特征在于：分为两个步骤，第一步基于用户的眼动模式与点击操作，采样规范化注视点与瞳孔直径信息，第二步视觉决策曲线拟合，并确定触发阈值；具体如下：I、基于用户的眼动模式与鼠标点击，采样注视点与瞳孔直径信息；在特定的人机界面中，通过眼动仪对用户浏览网页的眼动数据与点击操作进行记录，并通过规范化的数据采样来学习用户的视觉决策习惯；I‑i、让用户在界面中按自己的喜好随机进行选择操作，记录其眼动数据与点击流数据作为学习集合；采集用户的眼动与点击流数据，稍作处理并根据需要将所有记录分为三类基本数据集，事件记录数据集E、注视信息数据集F＝{f1，f2，f3，...，fm}与点击流数据集C＝{c1，c2，c3，...，cn}，本方法只需要利用页面开始(UrlStart)标记，将E用以记录所有页面开始时的时间戳E＝{tu1，tu2，tu3，...，tun}；注视信息数据集F包含所有的注视信息，fk是一个四元组(tfk，dlk，drk，itemfk)，tfk为此次注视的时间戳；dlk为左瞳孔直径；drk为右瞳孔直径；itemfk为所注视的选项，若注视点不在任何产品上，则标记为“NULL”；按照处理瞳孔直径的一般方法，用左右瞳孔直径的平均值代表瞳孔直径值，即算得dfk＝(dlk+drk)/2，将fk简化为三元组(tfk，dfk，itemfk)，其中tfk为此次注视的时间戳；dfk为瞳孔直径；itemfk为所注视的选项；点击流数据集C包含对点击时间与所点击选项的记录，ci是一个二元组(tci，itemci)，tci为点击时间戳，itemci为所点击的产品，若点击位置不在任何产品上，则标记为“NULL”；I‑ii、计算用户平均决策时间与采样时长将所有记录按时间戳逆序排列，然后计算从点击时间tci到用户每次开始进入界面的时间tui的差值，tci‑tui即为用户的决策时间；为所有点击计算平均决策时间tM及标准差std；假设共有n次点击，则： t M = Σ i = 1 n ( t ci - t ui ) n std = 1 n Σ i = 1 n [ ( t ci - t ui ) - t M ] 2 平均决策时间tM减去一倍标准差std即得到采样时长ts：tS＝tM‑stdI‑iii、对用户点击前时间ts内的注视信息与瞳孔直径信息进行采样保留决策时间长于采样时间的数据，其余数据由于决策时间过短视为不能构成有效采样集而抛弃，即若tci‑tui＜ts，则删除在时间tui到tci之间生成的所有数据；保留的数据中，每次点击ci之后，一直到上一次点击ci‑1之间的注视数据集{fi1，fi2，...，fin}，与ci构成一个基本的采样单元：si＝{fi1，fi2，fi3，...，fin，ci}从点击前最后一个注视记录开始，以采样间隔tI对si采样50个点：其中tI＝ts/50得到新的基本采样单元：si′＝{fi1，fi2，fi3，...，fi50，ci}假设共有m个基本采样单元，则由所有si′构成的采样数据集S′用m*51的矩阵表示为： S ′ = f 11 f 12 f 13 . . . f 150 c 1 f 21 f 22 f 23 . . . f 250 c 2 . . . . . . . . . . . . . . . . . . . . . . . . f m - 11 f m - 12 f m - 13 . . . f m - 150 c m - 1 f m 1 f m 2 f m 3 . . . f m 50 c m 其中矩阵第51列为点击信息，前50列中的每列fj为对所有有效数据，距离选择前最后一行注视记录tI×0，tI×1，…，tI×(j‑1)，…，tI×49采样，得到的注视信息；I‑iv、采样注视信息；对用户的注视情况进行标记，得到由flagij＝{“0”，“1”，“Null”}组成的注视矩阵Sf；具体步骤为：对比S′中每一行中fij的itemfij与ci的itemci，若itemfij＝“NULL”则表示用户的注视点没有停留在任何目标选项上，标记flagij＝“NULL”；在itemfij不为“NULL”的情况下，若itemfij＝itemci，则表示此时用户的注视点停留在最终用户选择的选项上，标记flagij＝“1”；若itemfij≠itemci，则表示此时用户的注视点停留在其他选项上，标记flagij＝“0”；则所有fij对应的flagij构成了m×50的注视矩阵Sf；其中，m为基本采样单元的数目，50为采样点的数目，矩阵元素为“0”“1”“Null”三种组成，以下为一个注视矩阵： S f = 0 0 1 . . . 0 Null 0 0 . . . 1 . . . . . . . . . . . . . . . . . . . . 1 1 1 . . . 1 0 Null 0 . . . 1 I‑V、采样瞳孔直径信息，得到瞳孔直径矩阵；提取S′中，每个fij的dfij的值，假设有m个基本采样数据单元，则所有fij对应的dfij构成了m×50的瞳孔直径矩阵Sd： S d = d f 11 d f 12 d f 13 . . . d f 150 d f 21 d f 22 d f 23 . . . d f 250 . . . . . . . . . . . . . . . . . . . . d fm - 11 d fm - 12 d fm - 13 . . . d fm - 150 d fm 1 d fm 2 d fm 3 . . . d fm 50 I‑VI、生成注视数组；注视数组Af中的元素Vfj的值等于注视矩阵每列中“1”所占的比例，将注视矩阵Sf中各列的“1”累加，并除以基本采样单元的数目m，得到注视矩阵各列中“1”所占的比例，即： Vf j = Σ i = 1 m flag ij m 可知Vfj为注视矩阵各列中“1”所占的比例，即距离选择时间tI×0，tI×1，…，tI×(j‑1)，…，tI×49，所得到用户正在注视最终选择项的比例；所有50个Vfj的集合构成的注视点数组Af＝[Vf1，Vf2，…，Vfj，…，Vf50]；I‑VII、生成瞳孔直径数组；瞳孔直径数组中各元素Vdj为瞳孔矩阵每列的平均值，即： Vd j = Σ i = 1 m d ij m 所有50个Vdj的集合构成瞳孔直径数组Ad＝[Vd1，Vd2，…，Vdj，…，Vd50]；由于实质上是在同一采样时间分别取注视信息与瞳孔直径信息，所以在注视数组与瞳孔直径数组中各对应的Vfj与Vdj的时间完全重合；II、视觉决策曲线拟合与运用阶段根据注视点数组与瞳孔直径数组生成拟合函数，并计算触发阈值；II‑i、横坐标为采样时间点，即tI×(j‑1)，纵坐标为最终选择项被注视的比例Vfj对数组Af＝[Vf1，Vf2，…，Vfj，…，Vf50]进行拟合，得到视觉决策注视拟合曲线；要求拟合度R2＞0.85，否则继续匹配其他曲线；II‑ii、横坐标为采样时间点，即tI×(j‑1)，纵坐标为平均瞳孔直径Vdj，对数组Ad＝[Vd1，Vd2，…，Vdj，…，Vd50]进行拟合，得到视觉决策瞳孔拟合曲线；要求拟合度R2＞0.85，否则继续匹配其他曲线；II‑iii、计算注视比例阈值Vft与瞳孔直径阈值Vdt；为避免数据中奇异点的影响，取Vde＝(Vd1+Vd2+Vd3)/3，Vds＝(Vd50+Vd49+Vd48)/3，瞳孔直径触发阈值Vdt＝Vde‑(Vde‑Vds)×3/4；取Vfe＝(Vf1+Vf2+Vf3)/3；Vfs＝(Vf50+Vf49+Vf48)/3；注视比例触发阈值Vft＝Vfe‑(Vfe‑Vfs)×1/2；II‑iv、基于双阈值的选择触发；若用户的瞳孔直径的值连续三个点大于或等于阈值Vdt，则采样注视点信息，若在时间tI×10内，用户对某选项的凝视比例达到Vft，则视为用户想选择此选项。