【原】眼动数据的可视化（上）

思影科技 2021-06-11

展开全文

本文系统调查了眼动追踪的可视化方案，并提供了对现有可视化技术的概述。眼动追踪对于评估用户的行为很重要。眼动追踪数据通常使用统计方法进行定量分析。然而，近年来，研究人员越来越多地使用基于可视化技术的定性和探索性分析方法（主要是因为眼动的空间变化和时间高度相关，某个层面的指标很难反映多个维度的信息）。

在这份目前来说最全面和最先进的文章中，作者们调查了大约110篇研究论文，展示了眼动追踪数据的可视化技术。他们对这些可视化技术进行了分类，并确定了两个主要的类别：基于点的方法和基于兴趣区的方法。此外，他们还进行了一次专家审查，询问领域内在可视化方面领先的眼动专家如何在眼动追踪数据的分析中应用可视化技术。根据专家的反馈以及定量分析，本文确定了未来必须解决的挑战，以便可视化将更广泛地应用于眼动追踪研究。

本文是目前对眼动数据可视化最系统的文章，在这篇文章中你可以有效地理解为什么眼动数据地可视化非常重要、如何有效地可视化不同维度地数据以及如何选择科学的可视化方法。由于本文较长，本次分享带来的是第一部分，主要包括本文阅读的基本概念以及可视化如何影响眼动数据分析。本文发表在Computer Graphics Forum杂志。(可添加微信号siyingyxf或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)

思影曾做过多期眼动相关读文，可结合观看增加对眼动研究的理解（直接点击即可浏览）：

言语线索有限的突显性对自闭症儿童面孔选择性注意的影响

Nature：婴儿观看社交场景受基因控制

通过精准且价格合理的智能手机眼动追踪加快眼动研究

在注视之外：对于认知和认知发展研究，眼动追踪还能揭示什么

注视眼动的控制和功能

PNAS：眼动证据支持行为的“模式完成”理论

意志性眼动控制与ADHD的关系：一项来自双生子的研究

面孔的神经表征与眼动模式相协调

眼动研究模型：近似数估计中连续的中央凹累加

眼动研究：阿尔茨海默病及轻度认知障碍所致痴呆患者的异常眼跳

眼动研究：先验知识对年轻人和老年人主动视觉和记忆的影响

Neurology:眼动对多发性硬化患者核间性眼肌麻痹的诊断及量化研究

PNAS：视觉工作记忆对瞳孔反应的调节模式

工作记忆中多重神经活动表征可并发存储

PNAS:瞳孔模仿通过心理理论网络促进信任

眼动研究: 经验驱动型注意力的分离成分

1.简介

眼动追踪已经成为分析市场营销、神经科学、人机交互、可视化研究、视觉感知和视觉搜索中用户行为的方法。在经典的控制用户实验中，除了测量视觉任务执行过程中的完成时间和准确率外，基于眼动追踪的评估还提供了关于视觉注意力如何分布和所呈现的刺激的变化的额外信息。眼动追踪设备将参与者的凝视点记录为原始数据。然后，这些凝视点可以聚集成两种主要的眼睛运动类别：注视和扫视。在动态刺激中，平滑追踪是一种用于分析的额外数据类型。此外，还可以定义兴趣区(AOIs)，用于衡量刺激中特定区域之间的注意力分布。

由于眼动追踪的广泛应用领域和各种研究问题，目前已经开发了不同的方法来分析眼动追踪数据，如统计评估、描述性或推理性、字符串编辑算法、可视化相关方法和视觉分析技术。无论是否将统计或可视化方法用于眼动追踪数据分析，都必须处理眼动追踪实验产生的大量数据。例如，一个有30名参与者、三种任务、每种任务有30个刺激的用户实验总共会产生2700条扫描路径。每条扫描路径通常由大量的由凝视点聚集而成的注视点组成。这些凝视点的数量取决于眼动仪的采样率。在这个例子中，如果我们假设采样率为60Hz，平均注视持续时间为250ms，并且每个刺激呈现2min，则必须存储大约20 000 000个凝视点和1 300 000个注视点，以某种形式格式化以后来分析以支持或拒绝一个或多个假设。除了分析关于注视次数、注视持续时间、注视分布、扫视振幅和瞳孔大小定量指标的眼动数据外，关于刺激中关注哪些区域的语义信息还提供了额外的信息来理解参与者的观察策略。

虽然统计分析提供了定量的结果，但可视化技术允许研究人员以一种探索性和定性的方式考虑记录的眼动数据的其他方面。可视化技术有助于理解眼动追踪数据的时空信息和数据中的复杂关系。该分析旨在寻找之后可以用统计方法来研究的假设。由于眼动实验中任务和刺激的复杂性越来越高，我们相信可视化将在未来的眼动分析中发挥越来越重要的作用。因此，本调查的贡献有几个方面：

首先，基于眼动追踪术语的分类，制定了刺激、凝视数据和可视化技术的分类系统。

其次，我们将文献中的论文分配给这些分类。

第三，基于这些结果和我们进行的专家回顾，我们确定了眼动追踪视觉技术未来发展所面临的挑战。

可视化技术是分析大量眼动追踪数据的一种重要方法。在过去的十年中，关于眼动追踪可视化技术已发表的期刊文章、会议论文和书籍的数量显著增加。图1显示了本调查中包含的视觉追踪数据可视化技术的所有相关出版物的直方图。特别是在1995年以后，关于眼动追踪可视化技术的出版物数量总体上有所增加。然而，我们仍然缺少对构成和讨论这些方法的眼动追踪数据可视化技术的全面调查。一般来说，眼动追踪比本调查中涵盖的可视化技术有更长的历史。我们推荐感兴趣的读者参考其他论文，以了解更多关于眼动追踪和眼动追踪设备的历史。

图1：表1中列出的本调查的所有出版物的直方图，介绍了眼动追踪数据可视化技术。在过去的十年中，已发表的期刊文章、会议论文和书籍的数量显著增加。

本文是我们EuroVis2014最先进报告的扩展版本，添加了一个扩展和更新的已调查文献体。我们还修改了分类法，将gaze data（采样点数据下获取到的凝视行为）作为另一类眼动追踪数据。本文的主要部分是关于分类系统的各种可视化技术的介绍。此外，我们进行了专家审查，询问眼动追踪可视化技术以及未来工作的挑战。

表1：列出引入新可视化技术、改进现有技术或调整现有技术的所有参考文献。参考文献分为第3.2-3.4节相关章节中描述的凝视数据、可视化相关和刺激相关类别。

2.系统性文献研究

基于所发现的文献，我们系统地回顾了每一篇论文，并将它们分配到不同的类别。我们的主要类别是刺激、参与者、可视化、数据、眼动追踪、应用、类型和图表。这些类别被进一步细分，例如，将刺激分类为2D或3D，参见3.2-3.4节，对三种不同类别的详细描述。如果可能，为每篇论文分配类别标签。为了对新技术进行分类，我们使用类别类型来区分引入新技术或扩展现有技术的论文，以及只使用现有方法或对眼动追踪数据和可视化进行分类的论文。这项文献研究生成了大约110篇关于眼动追踪数据可视化的论文。

贴有类型介绍标签的论文见表1。我们选择主要类别来区分可视化技术所代表的数据类型的论文。我们选择了一种可视化技术来区分论文的数据类型作为主要类别。这形成了三个主要类型：基于点、基于AOI和两者都使用的可视化技术。此外，我们使用类别可视化和刺激来进一步区分这些技术。我们的附加子类别是基于它们的数据类型、可视化类型、可视化的参与者数量、可视化的维度、上下文和交互性。刺激类别利用刺激类型、刺激内容和维度的信息对刺激类别进行细分。下一节给出了这个分类和每个子类别的详细描述。

为了这个系统和详细的文献研究，我们使用文献系统SurVis来寻找、分析和分组论文。

3.分类方法

在我们展示我们的分类可视化技术之前，我们首先定义与眼动追踪数据相关的基本术语（第3.1节）。该分类法又细分为三个类别：与眼动追踪实验刺激相关的类别（第3.2节）、与gaze data相关的类别（第3.3节）和与可视化技术相关的类别（第3.4节）。

其他论文分类所针对的领域不同，例如，仅限于刺激的分类[SNDC09]、可视化维度[Spa08]、眼动追踪数据[RTSB04]或分析眼动追踪数据的任务[KBB*17]。我们的分类包括更多的类别，以获得可视化技术的细粒度分类，专注于视觉跟踪数据的可视化技术，而不是分析方法。

3.1.术语

眼动追踪设备通过高采样方法来记录凝视点（即gaze），指示参与者观察刺激物的位置。采样率取决于设备的特性。最先进的设备允许在60到500Hz之间或更高的采样率。采样率指每秒记录多少个凝视点。在大多数情况下，原始的凝视数据会被进一步处理。如图2所示，下面对不同的数据类型进行区分和详述。对于每种数据类型，可以在分析期间使用不同的指标。本文简要地解释了每种数据类型的最重要的指标。可以在 Holmqvist等人的书中找到全面的眼动追踪指标集合[hna*11]。

注视

注视是一种凝视点的聚集。凝视点会根据指定的区域和时间跨度进行聚合。此时间跨度通常为200至300ms。存在不同的算法计算注视。注视的常用指标是注视计数（注视点个数）、注视时间（毫秒）和按x、y和z（如果需要）坐标给出的注视位置。

图2：凝视点在时空上聚合成注视点。扫视连接了单个注视点。然而，只有当注视点在AOI内时，连续注视才是停留。AOI是一个对特定刺激感兴趣的区域。从一个AOI到另一个AOI的扫视被称为转换。注视和扫描的完整序列被称为扫描路径。

扫视

扫视描述了眼睛从一个注视点到另一个注视点的快速运动。扫视通常会持续30-80毫秒。在此时间段内，视觉信息被抑制。典型的指标包括扫视幅度（扫视的距离）、扫视持续时间（以毫秒为单位）和扫视速度（以每秒度为单位）。

平滑追踪

在动态刺激的呈现过程中，可以发生平滑追踪。只有在参与者跟随刺激的运动时，它们才会无意发生。平滑追踪过程中的眼睛速度约为每秒10-30度。

扫描路径

一系列交替的注视和扫视被称为扫描路径。它可以提供有关参与者的搜索行为的信息。理想的扫描路径是指向特定目标的直线。与理想扫描路径的偏差可以被解释为糟糕的搜索。扫描路径指标包括扫描路径所覆盖的区域、扫描路径长度（以像素为单位）和扫描路径持续时间（以毫秒为单位）。

刺激

在眼动追踪实验中，刺激可以是呈现给参与者的任何视觉内容。我们区分静态和动态刺激，包括主动或被动内容。通常，呈现给参与者2D刺激，但3D刺激最近也成为了研究的焦点。

兴趣区

AOI或感兴趣区域（ROI）是刺激特别重要的一部分，通常部分或完全标记一个对象。对于动态刺激，AOIs也必须是动态的。AOI既可以在眼动实验之前也可以在之后指定。通常，AOIs是基于刺激物的语义信息来创建的。转换是从一个AOI到另一个AOI的快速移动，而停留是AOI内注视点的时间聚合。AOI的典型指标是转换次数（AOI之间的转换次数）、AOI 内的停留时间（以毫秒为单位）和AOI命中，它定义注视点是否在AOI内。

3.2.与刺激相关的类别

我们的分类学的第一部分是基于对刺激的分类。刺激的类型对眼动追踪可视化技术的选择和设计有很大影响。刺激可以分为静态或动态，2D或3D内容，主动或被动内容。观察任务将是另一种分类类型，但不包括在我们的分类法中。

静态刺激与动态刺激

例如，静态刺激可以是视觉内容不改变的文本或图片。动态刺激可以是视频、交互式应用程序或现实场景。一些可视化被覆盖在刺激之上，可以与静态和动态刺激一起使用。其他的可视化技术依赖于刺激的静态性质，不能应用于动态变化的内容。

2D与3D刺激

二维刺激是常见的，例如，可以是静态或动态的二维可视化、视频或网页。近年来，代表三维模型或物体的刺激变得越来越流行。三维刺激的数据通常使用真实现场或虚拟场景中的眼动仪收集。三维刺激可以在三维屏幕上表示为立体图像。

被动与主动刺激的内容

参与者的交互模式是数据可视化以及如何设计可视化技术的图形用户界面的一个重要因素。参与者可以被动地观察所呈现的刺激，而不需要干扰动作。刺激既可以是静态的，也可以是动态的（图片或视频的呈现）。不同参与者的记录之间的同步是可能的，可以允许人们比较多个参与者，并寻找他们的扫描路径上的相似性或不同之处。参与者也可以通过他们的行为来积极地影响刺激，在这里，刺激变为动态的。例如，交互式应用程序的眼动追踪提供了由参与者积极参与实验而产生的个别记录。比较这些单独记录的数据集并非很重要，因为数据的同步很困难[Duc07，BJK*16b]。

查看任务

虽然任务对参与者的眼球运动有显著的影响[AHR98]，但我们决定不使用任务作为分类因素，因为许多可视化技术并不明确地依赖于给定的任务来成功地解释数据。

3.3.收集与凝视数据相关的类别

下一组类别与在眼动追踪实验中收集到的凝视数据有关。首先，我们区分基于点的数据和基于AOI的数据。此外，数据可以分为时间、空间或时空。另一种分类是数据是二维还是三维，以及参与者的数量。

基于点与基于AOI

眼动追踪数据可以以基于点或基于AOI的方式进行评估。基于点的评估侧重于眼睛的整体运动及其时空分布。不需要对数据的语义注释（即使用AOI标准不同区域）。根据刺激的不同，基于点的评估可能对特定的分析任务是不够的（异步式眼动追踪数据的比较）。在这里，对刺激已识别AOI的注释可以用于应用基于AOI的指标。基于AOI的指标提供了有关AOI之间的转换和关系的附加信息。我们将这个分类作为分类法的第一级来区分不同的可视化技术。

时间、空间和时空的可视化

我们将凝视数据分为时间、空间或时空。时间维度关注时间，通常将时间作为一个可视化轴。数据的空间维度关注于凝视数据的x坐标、y坐标和可能的z坐标上。对于基于AOI的可视化技术，空间域包含AOI及其彼此间的关系。第三种数据类型是两者的组合，称为时空类型。在这里，数据的时间和空间方面是共同考虑的。

2D与3D数据

根据凝视数据的维数，不同的方面是很重要的。二维数据是最常见的数据类型，通常是眼球运动的x 和y坐标。对于三维数据，第三维即由z坐标提供的深度是很重要的。三维数据的一个挑战是将注视点映射到正确的几何模型上。

单个参与者与多个参与者

眼动追踪分析的另一个因素是用可视化技术表示的参与者的数量。与只显示一个参与者的技术相比，同时可视化多个参与者的数据可以帮助识别常见的观看策略。但是，如果同时显示过多的数据，这些表示可能会出现视觉混乱。在这里，诸如线的平均或叠加等策略可以用来获得更好的结果。

3.4.可视化相关的类别

一般有几种可视化分类。一些分类法主要关注数据维度或类型、交互技术、可视化任务或特定的可视化类型。然而，这些分类对于眼动追踪可视化要么太概括，要么太限制。

首先，我们简短地介绍统计图形。然后，我们区分动态和静态，二维和三维，在上下文中和不在上下文中，以及交互式和非交互式可视化。我们还讨论了最近的视觉分析方法，作为进一步评估眼动追踪数据的一种方法。

统计图形

眼动追踪数据最常用的可视化技术是统计图，如条形图、折线图、方框图或散点图。统计图形与描述性统计有关，因此对眼动追踪数据具有重要和广泛的应用。然而，统计图形的可视化技术通常是通用方法，并不是专门为眼动追踪而设计的。因此，我们在第4节中分别讨论它们与特定可视化技术的不同。

静态可视化与动态可视化

静态可视化通常使用数据时空映射实现可视化。对于动态刺激，创建一个静态可视化通常需要预定义的AOI，因为与动态变化内容的空间链接很难实现。动态可视化使用时时映射，按顺序显示数据中的某些时间点。允许在刺激之上叠加可视化的上下文可视化，将刺激数据和可视化保持在同一域中。然而，这需要复杂的布局算法，其必须遵循序列中的每个静态图像以及动画的美学绘图标准，以保存观察者的心理图像。

2D与3D可视化效果

二维可视化表示二维空间中的数据，例如，一个空间维度和时间维度，或者同时表示两个空间维度。三维可视化表示三维维度：两个空间维度和时间维度，或三维刺激的所有三个空间维度。三维可视化功能适用于(STCs)。在STC（空间时间立体可视化）中，二维刺激的二个空间维和时间维度同时可视化。然而，由于与三维可视化相关的感知问题，如遮挡，进行长度判断或阅读文本，第三维数据必须被小心处理。相比之下，在二维域中可视化三维数据可以消除一维，虽然这导致数据丢失；但它可以使分析更容易。在Bach等人的最先进的报告中给出了减少一维的示例操作。

上下文与非上下文可视化

上下文可视化将刺激和可视化相互联系起来，例如覆盖在刺激上或具有缩略图图像的AOIs上。可视化中不包括刺激的可视化方法不是上下文可视化。基于AOI的可视化技术通常都是这样。非上下文可视化存在AOIs的空间布局丢失的问题。然而，如果AOIs之间的关系比空间布局更重要，那么丢失这些信息是一个可以接受的权衡。

交互式与非交互式可视化

非交互式可视化通常表示具有一组固定参数的数据。分析人员影响这些参数的选项有限，通常是因为它们已经被预定义来创建一个静态图像（如一张注意力地图）。相比之下，交互式可视化允许分析人员探索超出开始所表示的数据。例如，分析人员可以浏览时间、缩放和过滤数据，并获取关于可单独调整的特定参数设置的数据的信息。

视觉分析

当可视化技术无法处理大量眼动追踪数据时，视觉分析的新兴学科可以成为探索性数据分析的一个选择。基于机器的分析技术，如来自数据挖掘或数据库中的知识发现的方法，与交互式可视化和人类观察者的感知能力相结合。开发了许多视觉分析系统用于分析眼动追踪数据。Andrienko等人讨论了哪些以及如何现有的视觉分析方法可以应用于眼动追踪数据；作者专注于地理信息科学的技术如何适用于分析时空眼动追踪数据。

3.5.分类结构

基于上述类别，我们粗略地将眼动追踪可视化的论文分为两个主要的子集以区分可视化技术是基于点的分析还是基于AOI的分析。在第二个层次上，我们根据可视化的时间、空间和时空方面进一步细分了可视化技术。

表1提供了所有眼动追踪论文的概述，介绍了一种新的可视化技术，改进现有的技术或调整现有的技术以将其应用于眼动追踪数据。该表根据上述两个级别对可视化技术进行了分类。表的上部包含了第5节中描述的基于点的可视化技术，而表的下部显示了第6节中描述的基于AOI 的可视化技术。表的中间部分包含了基于点和基于AOI的技术的论文。这些论文在这两个部分中都被描述了，重点放在各自的方面。基于点和基于AOI的可视化技术的各自部分被进一步细分为时间、空间和时空可视化技术。该表的第一列显示了此细分部分。

在基于点的可视化技术（第5节）中，时间方法是时间轴可视化，空间方法是注意力地图，时空方法被细分为扫描路径和STC（空间时间立体可视化）可视化，因为它们代表了两个不同的概念。第6节讨论了基于AOI的技术：首先是时间轴可视化形式的时间方法，然后是三维可视化，最后是关系可视化技术形式的空间方法。

此外，该表还显示了分类法中描述的其他分类因素：基于凝视的类别、可视化类别和刺激类别。

4.统计图形

在我们描述基于我们分类的眼动追踪可视化技术之前，本部分总结了通常用于可视化眼动追踪数据，但不是专门为眼动数据可视化开发的统计图形。图3显示了条形图（图3a）和折线图（图3b）的示例，均表示同一数据集：两个参与者及其在AOI内相应的注视次数。

图3：描述两个参与者相同的眼动追踪数据的统计图形示例，显示每个AOI的注视次数：(a)条形图和(b)折线图。

眼动追踪研究中的最早论文之一使用折线图来研究观看电视场景中儿童的眼球运动特征。作者总结了不同类型的眼睛运动的持续时间。 Atkins和 Zheng 量化了执行操作任务和观看操作任务之间的区别。为此，他们在两个折线图中显示了记录的注视点的结果，显示了注视的x和y位置的值。在此基础上，作者讨论了扫视的特质。Smith和Mital使用折线图来表示平均注视持续时间，平均扫视幅度和其他随时间变化的指标。他们还使用折线图来分别显示这些动态和静态刺激的指标。

条形图是主要用于显示眼动追踪指标的直方图。 Convertino等人将四种不同可视化技术组合的注视时间百分比绘制到条形图上。因此，作者将平行坐标的可用性与其他类型的可视化效果进行了比较。为了评估不同的图像融合方法，Dixon等人用柱形图显示眼睛位置的精度。

散点图通常用于在二维笛卡尔图中绘制数据。这种类型的图表显示了一个样本的两个值之间的关系。Just和Carpenter 绘制出响应延迟和视角差之间的关系。Berg等人比较了人类视觉和猴子视觉。作者呈现了两个物种的扫视运动振幅和速度的散点图。此外，他们比较了人类和猴子之间的视觉显著性，并使用散点图显示结果。 Anderson等人在散点图中呈现了注视点的递归。作者将注视个数绘制在x和y坐标上，并将两个注视发生在同一空间半径内时进行标记。重复分析表明扫描路径的哪些部分重复发生，突出刺激的哪些区域被多次观察。

箱图是一种流行的呈现统计分布的可视化技术。 Hornof和Halverson分析了参与者在实验中注视点的绝对、水平和垂直偏差，以监测眼动仪校准的偏差。Dorr等人研究了在观看动态自然场景时，不同参与者的眼球运动模式有多相似。为了比较眼睛的运动，他们使用归一化的扫描路径显著性分数，并显示不同视频的计算分数的箱图。

雷达图是另一种统计图形。Goldberg和Helfman 用它们来理解扫描路径的角度特性，Nakayama和Hayashi 用它们来研究注视位置的角度特性。

在对统计图形的使用上，不同的眼动数据有着不同图形的偏好，比如在空间分布方面使用散点图、线图和雷达图是比较多的，在时间分布方面使用柱状图、箱图等是比较多的，在眼动指标方面，则是存在许多可使用的统计图形。

5.基于点的可视化技术

本部分主要包括使用记录数据点的空间和时间信息的所有可视化技术达到可视化目的（例如，随时间信息的注视点的X和Y坐标轴）。因此，不需要对AOI进行定义。这些可视化技术可以用来分析数据点位置的时间变化、注意分布、扫描路径或眼动追踪数据的时空结构。由于眼动追踪数据不是连续的（由于扫视），这些数据的时空特征不同于其他典型应用，如地理空间数据的可视化。

图4：多名参与者扫描路径的时间演变。时间表示在x轴上，垂直注视点位置表示在y轴上。颜色代表每个单独的扫描路径。图基于Grindinger等人[GDS10]。

5.1.时间轴的可视化

时间轴是一种可视化时间数据的方法。基于点的时间轴可视化表示坐标系上一个轴上是时间，另一个轴上是眼动追踪数据。这样的图通常在二维空间中表示。注视点的x、y或z的坐标可以一起显示，或者注视位置可以分割其坐标，每个坐标可以单独表示，如图4所示。如果注视位置被分割并显示在x坐标，在y轴上显示时间。要显示注视位置的y或z坐标，时间表示在x轴上。这可以针对具有主动或被动内容的静态或动态刺激以及代表独立于刺激的注视数据的一个或多个参与者。这种时间轴可视化减少了扫视线的交叉和重叠。此外，该可视化技术允许进行视觉扫描路径比较来测量总体扫描路径的相似性。此外，还可以看到对扫描趋势的一般概述，如向下和向上的扫描，或水平位移。然而，分离成坐标使得人们很难感知二维或三维空间中的组合行为。

凝视条纹方法将基于点的信息与刺激环境相结合。凝视点的位置被用来从刺激中剪出缩略图，并将它们叠在每个参与者的单独时间轴上。这种技术允许没有定义AOI进行多个参与者的比较，并部分保留了静态或动态刺激的上下文信息(cf.图5）。

图5：凝视条纹x轴上表示时间和y轴上表示参与者。对于每个参与者，将显示缩略图系列，表示在刺激上下文中注视点位置的时间变化。图是基于Kurzhals等人的[khh*16]。

5.2.注意力图（热图是注意力图的一种）

对于空间可视化技术来说，将注视位置标记为刺激上的覆盖物是记录眼睛运动最简单的可视化技术之一，并早在1958年就被Mackworth和Mackwor应用于动态刺激。结合了来自不同参与者的注视数据可视化和由bee swarm表示的刺激。它通常作为一个动画来显示注视的时间变化，通过用单独的颜色代表每个参与者，或者使用跟随一个参与者的眼动追踪数据的动画光标。随着时间的推移，参与者注视点的聚集被称为注意力图、注视图或热图，可以在许多出版物中找到作为总结凝视数据的插图。注意力图通常是一种静态的和上下文内的表示。注意力图的主要目的是获得眼睛运动的概观，并识别引起广泛关注的刺激区域；后者通常用于确定AOIs。有几篇论文描述了如何创建注意力地图（如[SM07，Bli10]）。

Bojko根据所使用的数据引入了不同类型的注意力图，例如，注视次数、绝对注视持续时间、相对注视持续时间或参与者百分比注意力图。每种类型的好处都取决于评估所需的数据。在她的论文中，描述了使用注意力地图的指南，以避免误用和误解它们。Holmqvist等人对注意力地图进行了回顾，他进一步建议应该小心地使用它们。

经典的注意图可视化为亮度图、三维景观、2维等高线地形图或颜色编码的热图。为了强调参与区域，使用过滤方法替代可视化技术来降低无人关注区域的清晰度和颜色饱和度，通过只显示周期性或确定性的注视点，仅显示第一个注视点或表示参与者的阅读速度。

对于动态刺激（例如录像），不仅通过应用动态变化的注意力地图来可视化数据的空间成分，还有时间成分，例如，通过识别多个参与者之间的注意力同步。动态刺激的注意力地图包含了这样一个问题，即由于刺激的变化，数据的聚合不能静态地表示。图6(a)显示了传统的汽车视频注意力图，汽车从屏幕的右到左驾驶，使用序列的最后一帧作为刺激背景。参与者在汽车行驶时看着它，导致注意力沿着汽车的轨迹分布。在注意力图上，注意力似乎集中在背景中的两个人身上，导致了误解。通过使用运动补偿注意地图可以克服这个问题，使用连续帧之间的光流信息映射，根据观察的移动对象调整注视数据。得到的注意力图显示实际观察的移动对象上的最高值(cf.图6b）。

图6：视频场景的传统静态注意图 (a) 当对象移动时，可能会导致误解。运动补偿注意图(b)显示，大多数注意力集中在移动的车辆KW13上。

当观察三维刺激时，第三个维度必须被包括在一个注意力图中。一种可能是使用三维刺激的二维表示，并显示这个二维投影上的注意力图（cf. 图7a）。但是，这将由于删除一个维度而导致数据丢失。当三维场景中显示多个对象时，另一种可能性是使用彩色编码注意力图中的完整对象，如图7(b)[SND10a]所示。一个典型的表示显示了三维模型本身上的注意力图，如图7(c)所示。为三维刺激创建注意力图与利用刺激或特征检测中关于物体位置的额外信息有关。卷积渲染技术可用于渲染3D注意图。

图7：三维刺激的注意图：(a)投影注意图、(b)基于对象的注意图和(c)基于表面的注意图[SND10b]。

图8：在典型的扫描路径可视化中，每个注视都由一个圆表示。注视之间的扫视通过这些圆圈之间的连接线来表示。

5.3.扫描路径可视化

时空可视化使用扫描路径通过刺激上的扫视线连接连续注视点。 Noton和Andstark 使用“扫描路径”一词来描述一个被试观看时注意模式的注视路径。如今，扫描路径描述了以刺激上的静态覆盖值可视化的任何扫视和注视序列。在典型的扫描路径可视化中，圆圈表示每个注视点，其中半径对应于注视持续时间，连接线代表注视之间的扫视，见图8。改变注视圆圈的颜色可以代表其他信息，例如参与者的凝视速度。一个简单的扫描路径只显示记录的扫视点，而没有为每个注视点标记圆圈。

在扫描路径布局中存在许多不同的方法来显示注视点的位置及其时间信息。然而，目前只有像图8所示的扫描路径可视化才被广泛使用。如果在一个可视化图中显示了几条扫描路径以研究眼动行为，很明显，这种可视化会迅速产生视觉杂乱。一方面，如果扫描路径形状不同，则在整个可视化过程中绘制线条和圆将很难找到视觉模式。另一方面，如果扫描路径形状相似，则线和圆可能会重叠。

已经提出了许多方法来克服视觉杂乱的问题。一种解决方案是平均或信息叠加在扫描路径上。在这里，一个关键的问题是找到一个适当的平均或叠加标准。这个扫描路径相似性的问题尚未得到完全的回答。另一种解决方案是减少在扫描路径可视化中使用的笔墨，并显示扫描路径的压缩版本(cf.图9)。

图9：不同类型的缩放轨迹显示没有注视持续时间的扫描轨迹：(a)正常缩放轨迹，(b)线条类型从浅变为暗，(c)使用多颜色，(d)线条厚度由薄变为厚。基于Goldberg 和 Helfman [GH10c]的附图。

这种可视化技术的优点是产生更少的视觉杂乱，因为缺少表示注视的圆圈。然而，这种图形表示的一个缺点是，通过比较线的方向，仍然难以在视觉上识别常见的扫描路径模式。另一种解决方案是将注视点的空间信息分解为二维[CPS06]。例如，扫视的垂直和水平分量分别显示在注意力地图可视化的四边（cf.图10）。

图10：扫视图表示扫视在刺激四边的水平和垂直位置。该位置由一个点表示，颜色编码被用来区分不同的扫视。一个点与刺激物的距离代表扫视的长度。一个点是放在左、右、上或下，取决于扫视在刺激中的位置。基于Burch等人的图。

这种可视化技术的一个优点是，水平和垂直特征可以相互独立地研究。然而，它需要更多的心理努力来结合这两个单独呈现的视角到一个心理图象上。另一种可能性是一次只显示扫描路径的一部分，例如，所选时间戳或时间帧的后续5秒。

扫描路径可视化的另一个挑战是如何显示三维注视信息。基本上，有两种方法。第一个，如图11所示，目的是在刺激的三维域中可视化扫描路径。另一种是将刺激扭曲成二维表示，并在这个二维图像上绘制扫描路径线[RTSB04]。除了如何在二维计算机屏幕上充分显示三维数据，这可能会导致数据丢失之外，来自三维数据的扫描路径的可视化与二维数据有相同的限制。

图11：(a)三维扫描路径用球体表示。(b) 锥形显示了一个具有查看方向的三维扫描路径。

5.4.时空多维数据

作为一种替代的时空可视化方法，STC（空间时间立体可视化）可视化常用于各种研究领域，例如，在地理信息科学中。对于眼动追踪数据的应用，刺激的二维空间域被扩展到第三个时间维度。以此表示提供了完整数据集的概观，并可应用于静态和动态刺激。使用STC，扫描路径、注视点和集群信息将被静态地可视化，并允许直接识别感兴趣的时间跨度，否则就需要在数据中进行顺序搜索。

图12：视频眼动追踪数据的STC可视化。时间维度（绿色）将视频的空间维度扩展到数据的静态概述，显示凝视点和凝视集群。图基于Kurzhals和Weiskopf[KW13]。

图12显示了一个具有凝视数据和识别集群的STC，以及来自多个参与者的数据，记录于动态刺激。应用沿时间维度的滑动视频平面将时间跨度与刺激的动态内容联系起来。由于这个三维可视化系统存在由遮挡造成的问题，失真和不准确的深度感知，数据的二维投影可以应用于STC侧面的壁上。

与其他可视化技术相比，STC（空间时间立体可视化）的主要优势是直接概述了来自多个参与者的数据，从而能够有效地识别重要的AOI。在这一点上，将STC应用于来自多个参与者的数据，只应用于可同步的刺激。到目前为止，该可视化技术在异步数据（即头戴式眼动追踪数据）中的应用还没有被研究过。它涉及参与者之间的时空一致性的额外问题，而对这类数据的基于AOI的分析提供了更有效的方法。

总结：

在本文的上部分，我们看到了眼动数据可视化方案的分类方法，从基于点的可视化方法来看，gaze data的数据相比于注视点数据反应了更加连续的空间特征，为我们理解眼动数据的空间和时间关系提供了重要的信息。其次，科学的使用不同类型的统计图形可以有效地展示不同方面的眼动数据信息，指标类的眼动信息可以更容易地使用统计图形来可视化。但在空间分布上，基于点的可视化方法是非常重要的，如注意力图、扫描路径可视化以及时空多维数据的可视化方法。在下部分的分享中，我们将继续分享如何有效地可视化AOI的数据，以及其他可视化方法和在可视化中需要注意的重要问题。