[发明专利]一种基于回忆和标注的眼动跟踪方法和系统

摘要

一种基于回忆和标注的眼动跟踪方法，包括：(1)定义用户进行回忆和标注的方式，设置相应的任务；(2)在显示屏上呈现任务说明，向用户发布任务；(3)在显示屏上呈现图像刺激源；(4)用户根据任务要求，观察显示屏上的图像刺激源；(5)用户根据任务要求，回忆任务执行过程中所产生的注视点，在显示屏上标注注视点的坐标位置及先后顺序；如果进入训练模式，转到步骤(6)；如果进入正式模式，则转到步骤(8)；(6)训练模式呈现给用户的图像刺激源，在正式模式中不会再呈现给用户；(7)评价用户的训练绩效；(8)用户进入正式测试模式时，记录和保存用户标注的注视点位置及其先后顺序数据。还包括使用本发明方法的系统。

主权项

1.一种基于回忆和标注的眼动跟踪方法，包括如下步骤：(1)定义用户进行回忆和标注的方式，设置相应的任务；所述回忆和标注的方式有三种；方式一，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的第一个注视点的位置，并通过单击鼠标左键在显示屏上将其位置标注出来；方式二，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的最后一个注视点的位置，然后通过单击鼠标左键在显示屏上将其位置标注出来；方式三，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的多个注视点位置及其先后顺序，然后通过单击鼠标左键，在显示屏上将其位置依次标注出来；所述任务包括三种，分别对应于前述的三种方式，即任务一、任务二和任务三；(2)在显示屏上呈现任务说明，向用户发布任务；通过文字和配图方式，向用户描述任务的具体执行过程；(3)在显示屏上呈现图像刺激源；图像刺激源分为两类，包括过渡型图像刺激源和测试型图像刺激源；这两类图像刺激源将依次在显示屏上显示；过渡型图像刺激源是灰色填充的图像，其大小将覆盖整个显示屏，并且在该图像的顶点位置显示一个黑色实心圆，该实心圆将随机出现在该图像四个顶点中的某个顶点上；当前一个测试型图像刺激源显示结束后，由于视觉暂留现象导致用户的注视点位置还停留在屏幕上与之前测试型图像刺激源相对应的某个位置，所以该位置就可能成为用户在观察下一个测试型图像刺激源的注视点起始位置；因此，为了消除该影响，利用过渡型图像刺激源将用户在结束观察前一个测试型图像刺激源后的注视点吸引到上述黑色实心圆位置附近，而由于该黑色实心圆位置随机出现在屏幕四个顶点位置之一，在测试型图像刺激源显示区域之外，所以不会对用户观察下一个测试型图像刺激源时产生影响；此外，定义过渡型图像刺激源的显示时长为TT；然后，显示屏上隐藏过渡型图像刺激源，开始显示测试型图像刺激源；测试型图像刺激源是事先选取的，用于获取用户在这些图像上眼动数据的图像；测试型图像刺激源的面积小于过渡型图像刺激源面积，而且这两者的几何中心重合；定义测试型图像刺激源的显示时长为TA；(4)用户根据任务要求，观察显示屏上的图像刺激源；结束显示后，隐藏图像刺激源；(5)用户根据任务要求，回忆任务执行过程中所产生的注视点，在显示屏上标注注视点的坐标位置及先后顺序；此时显示屏上显示一个网格图像，共有M×N个方格，每个方格的大小为g×g像素；该网格图像的面积与测试型图像刺激源的面积相等；网格为用户提供视觉线索，使其能准确的回忆和标注注视点位置；根据回忆，用户用鼠标在网格图像上相应网格中单击鼠标左键，标注所回忆的注视点位置；如果需要回忆多个注视点，则用户根据回忆的顺序，依次用鼠标在网格图像上相应网格中单击鼠标左键，标注多个注视点；如果进入训练模式，转到步骤(6)；如果进入正式模式，则转到步骤(8)；(6)用户进入训练模式时，目的是熟悉任务执行过程，提高回忆与标注的完成效率、质量；此时，用户标注的数据被暂时记录，但不作为最终数据加以记录和保存；训练模式呈现给用户的图像刺激源，在正式模式中不会再呈现给用户；(7)评价用户的训练绩效；用户通过训练之后，评价训练绩效；如果用户可以不在实验人员协助下，独立执行各种任务，在任务执行过程中不存在较大的停顿时间，且能准确的回忆和标注注视点及其先后顺序，则认为用户已经具有较好的绩效；重复步骤(1)‑(7)，直到用户具有前述的较好绩效；具体的，将步骤(3)中测试型图像刺激源中预先设置的视觉显著对象的几何中心点定义为MO；用户在步骤(5)中针对该测试型图像刺激源进行注视点回忆后，将用户用鼠标点击网格图像中相应网格的几何中心点定义为点MP，计算点MO和点MP的几何距离，设为D；如果D小于设定的阈值Kd，则认为用户能准确的回忆和标注注视点；此外，记录从显示屏显示网格图像，到用户对单个测试型图像刺激源完成所有注视点标注的时间，定义为TM；如果TM小于设定的阈值Kt，则认为用户能顺利的完成回忆与标注任务，不存在明显超时；当用户在训练模式下，针对具体的任务要求，对观察的测试型图像刺激源进行注视点回忆和标注时，能同时满足DTi。