|
混合现实中的人机交互综述 摘 要: 经过 20 多年的发展, 混合现实相关技术已经取得了长足的进步, 展示出强劲的发展动力. 人机交互是混合现实的重要支撑技术 , 也是近年来国内外的研究热点 . 多年来 , 混合现实中的人机交互研究一直在探索更加自然和高效的交互方式. 文中围绕该领域近几年的发展趋势, 重点讨论了混合现实中的人机交互设计原则与评估方法、关键技术, 调研了不同交互技术在混合现实中的应用现状, 最后做出总结并提出存在的问题. 关键词：人机交互; 混合现实; 增强现实; 增强虚拟 中图法分类号：TP391.41 A Survey on Human-Computer Interaction in Mixed Reality Huang Jin1,2), Han Dongqi1,2), Chen Yineng1,2), Tian Feng1)*, Wang Hongan1), and Dai Guozhong1)
Abstract: Mixed reality technology has made remarkable progress during the past two decades and shows sig-nificant development prospects. As the crucial support of mixed reality, human-computer interaction hits the re-search area in the world. Over the years, simple, natural and effective interaction modes have always been the fo-cus of human-computer interaction in mixed reality. Centering on the development tendency in recent years, this paper mainly discusses human-computer interaction design principles and evaluation methods as well as key technologies in mixed reality, surveys applications of different interaction techniques in mixed reality, finally makes a summary and puts forward the existing problems. Key words: human-computer interaction; mixed reality; augmented reality; augmented virtuality
环境, MR 是在横轴上除去左右端点外的其余部分, AR 和 AV 二者则分别是位于更接近真实环境和虚拟环境的一部分连续空间, 同时它们也是MR 开集中的一部分连续空间. 尽管如此, AR 仍然是MR 中最典型的代表, 近年来国内外对 AR 技术的研究数量都远超其他相关技术[2]. Azuma 等[3-4]总结了 AR 的 3 个基本特征: 1) 虚 实融合, 即真实世界和虚拟物体在同一视觉空间中显示; 2) 实时交互, 即用户可与真实世界及虚拟物体进行实时的自然交互; 3) 三维注册, 即虚拟物体与真实世界精确地对准. 这3 个特征是Azuma 等对 AR 技术做出的归纳. 本文认为, 这 3 点能够体现 MR 技术的主要特点, 只是在 MR 中, 虚拟信息不一定作为辅助存在, 也可以是主体, 而现实物体作为辅助. 人机交互是MR 的重要支撑技术, 也是近年来国内外的研究热点. 人机交互从最早的手工作业阶段开始经历了命令行界面、图形用户界面(graphic user interface, GUI)的发展, 到如今进入以多点触控界面、实物用户界面(tangible user interface, TUI)、 三维用户界面(3D user interface, 3DUI)和多通道用户界面为代表的自然人机交互阶段. 随着 MR 技术的出现和不断成熟, 传统的 GUI 已经无法适应MR 中虚实融合的交互场景, 越来越多的学者开始寻求新的交互方式以适应这种新型技术的发展. 他们从实践中总结出了新的交互设计原则与评估方法, 研制了适用于MR 技术的新型交互技术; 并在此基础上开发了新型的交互系统及应用, 极大地推进了 MR 和人机交互技术的发展.与此同时, 在交互技术、交互界面与范式、交互方法的社会接受度等方面也遇到了许多问题, 要解决这些问题, 仍需要研究者们在技术创新、新型界面范式探索、人性化交互设计及评估方法上做出努力. 1 MR 中的交互设计原则与评估方法 近年来出现了越来越多的MR 应用, 但只有为数不多的成果能够走出实验室并在商业上取得成功. 主要包括两方面原因: 一是目前的设备和技术尚不够完善和成熟, 以至于研究者无法很好地实现他们的设计; 另一个很重要的原因是, 目前的 MR 应用没有很好地考虑其中的人为因素(human factors)[5]. 要使MR 应用被用户接受, 必须考虑人为因素的影响, 遵循一定的设计原则, 并且通过可用性评估. 1.1 MR 中的人为因素
任务, 并且指出, 时间和准确性是衡量用户表现的 2 个重要标准. 之后, 他们又深入探
讨了噪声、延迟和方位错误对 MR 应用中的用户表现造成的影响, 发现高延迟会降
低用户表现和响应时间, 方位错误会增加用户错误, 噪声则同时对这2 个变量产生影响[7]. Drascic 等[8]总结了MR 中存在的 18 种导致认知偏差的问题, 从人类知觉的角度指出了 MR 技术的改进方向. 随着MR 应用的不断出现, 不少研究者已经开始着手于在 MR 应用上进行人因研究. 文献[9]对 AR 应用在维修和制造业中的应用进行了认知研究和分析, 指出 AR 应用在该场景时应当作为用户认知过程的辅助角色, 能够在视觉检索、降低错误和促进行为上辅助用户的维修与制造操作. 文献[10]则评估了 2 种不同头戴式显示设备在工作环境中的用户表现, 认为用户在使用MR 技术辅助装配和检查时几乎不存在困难. Robertson 等[11]对积木应用中的注册匹配错误做了用户表现评估, 发现在具有较小误差的情况下用户仍能够高效地完成物体放置任务. 在文献[12]中, 他们又比较了没有注册错误、固定视角、头戴式实时显示、头戴式定时显示 4 种情况下的用户表现, 发现没有注册错误情况下的用户表现最好, 说明目前改进注册技术仍是提高用户表现最好的方法. 归结起来, MR 中重要的人为因素包括以下方面: 1) 延迟. MR 要求用户能够实时地与系统进行交互, 系统延迟将直接影响交互效率和任务表现; 2) 位置感知. 深度错误、方位错误、遮蔽错误等注册技术上出现的错误会影响用户对虚拟物体的位置判断, 如果注册误差很大或者只能实现部分注册(固定视角或无法交互), 则将降低用户体验和交互效率; 3) 真实感. 虚拟物体的光线、纹理、材质等因素的真实感会极大影响用户对虚实融合环境的认知能力, 如果虚拟物体的显示效果非常不真实, 也会降低用户体验和交互效率; 4) 疲劳. 许多头戴式显示器容易造成用眼疲劳, 不适合长期使用, 手持式显示器的长时间使用也存在问题. 1.2 交互设计原则 许多 MR 领域的研究者都尝试着从自己的应用中总结出设计原则, 然而由于MR 领域涉及的硬件 设备差异很大, 这些设计原则多数都高度依赖于指定的设备[13]. 为了找到一个通用的设计原则,文献[14]尝试将传统人机交互通用设计原则在 MR 上直接应用, 给出了下面的指导准则: 1) 自解析性. 使得用户界面与其功能之间具有自然的内在联系. 2) 较低的认知负荷. 使得用户能够专注于实际的任务而非被过多的信息所淹没. 3) 较低的体力需求. 使得用户能通过最少的交互步骤完成任务. 4) 易学性. 使得应用易于被学习. 5) 较高的用户满意度. 使得用户在交互时乐 在其中. 6) 灵活可用. 为用户提供不同的输入通道,使具有不同使用习惯和能力的用户都能快速适应. 7) 实时响应. 使得系统的延迟在用户能够容忍的范围内, 从而确保交互效率. 8) 较高的错误容忍度. 使得系统在用户、环境等因素导致的错误中, 仍能呈现出稳定的交互环境. 然而一些学者认为, 传统的 GUI 设计原则不能在MR 应用中直接使用, 必须结合软硬件设备给出更为具体的指导原则. 对于MR 的图形显示, 较高的帧速率和较快的响应时间是公认的关键原则; 研究者们还提出, 必须力求保持视觉和其他(如声音、触觉等)线索的一致性[8]; 应当尽量减小虚拟物体的扭曲变形、跟踪系统的误差和用户视角参数的错误[1]; 力求实时地对虚实物体的遮蔽关系进行处理[15]. 文献[5]针对移动 AR 应用给出了一套较为完备的设计原则, 其中包括清晰的文本信息, 虚拟信息需要有较高对比度, 对虚拟信息进行分类管理,虚拟信息不应遮挡感兴趣的物体, 提示信息须足够明显使其能够引起用户注意, 灵活的交互方式,较高区分度的图标, 标注信息应能区分所属物体的距离远近与是否可见. 对于导航类 MR 应用, 文献[16]指出需要提供多种合适的导航手段帮助用户熟悉界面使用知识;在合适的时候提供空间标签、地标和罗盘辅助导航;关于整体地形, 应利用简单原则对区块进行划分和组织. 文献[17]则指出, 必须时刻告诉用户他在哪里, 他目前的姿态和朝向, 他的目的地, 他该如何到达目的地. 对于 3D 空间中的目标选择, 文献[17]指出需 要力求实现以用户身体为坐标中心的交互空间;支持多通道交互; 为图形和文字提供准确的位置 和朝向描述. 当将该技术用于手工操作场景时, 应当支持双手交互[18]. 1.3 可用性评估方法 1) 可用性工程 Gabbard 等[19]认为, 可用性问题如果在工程项目的后期才被发现将导致极大的损失, 必须在项目进行过程中就对利用可用性工程进行管理. 通用的可用性问题一般包括功能缺失、关键任务的用户表现不佳、灾难性用户错误、用户满意度低、用户接受度低等. 对于用户而言, 一个应用具备良好的可用性则意味着它具有易学性、任务表现良好、错误率低、满意度高、用户流失率低等特征. 为了实现这个目标, 文献[19]提出一个用于开发阶段的可用性工程过程, 如图 1 所示, 该可用性工程在他们 的战地 AR 系统(battlefield AR system, BARS)中起到了良好的效果. 图 1 BARS 中使用的可用性工程过程[19] 2) 快速原型法快速原型法是另一种有效评估用户体验和可 用性的方法, 其中一个成功实施方法是 Wizard-of-Oz (WOz)测试. 在这种方法中, 测试用户在一个房间中操作系统界面, 而实验者(即魔法师)通常在另一个房间中观察用户的操作行为, 并通过各种手段模拟出全部或部分系统相应. 这些系统相应地完 全由实验者手工操作完成, 不需要编写程序, 使得开发者能够在项目的早期便进行可用性测试. Dow 等[20] 使用这项技术建立了一个MR 系统, 展示了WOz 如何在 3 个设计与开发阶段中指导交互设计. 文献[21]为室内导航 MR 应用进行 WOz 原型设计以及可用性测试, 分别评估了 AR 模型和 VR 模型中, 在没有错误、有位置错误、有朝向错误和混合错误 4 种情况下的用户表现. 3) 使用评估 以上2 种技术使我们能够在MR 应用的研制开发阶段就开始可用性评估. 文献[22]对于使用阶段的 MR 应用的评估方法进行了探讨, 进行 MR 应用评估需要重点考察 4 个方面的内容: 1) 任务表现.用户完成关键任务的时间和成功率; 2) 感知和认知. 用户对虚实融合场景物体的方位感知、深度感知、遮挡感知等; 3) 用户协作. 多用户之间的协作与交互; 4) 用户体验. 用户的主观感受. 2 MR 中的交互技术 2.1 用户界面形态 新型交互技术和设备的出现, 使人机界面不断向着更高效、更自然的方向发展. 在 MR 中使用较多的用户界面形态包括: TUI、触控用户界面、3DUI、多通道用户界面和混合用户界面. 1) 实物用户界面 TUI 是目前在 MR 领域应用得最多的交互方式,它支持用户直接使用现实世界中的物体与计算机进行交互[23], 无论是在现实环境中加入辅助的虚拟信息(AR), 还是在虚拟环境中使用现实物体辅助交互(AV), 在这种交互范式下都显得非常自然并对用户具有吸引力. VOMAR[24], Tangible bits[25] 等实物交互应用便是它的典型案例. 2) 触控用户界面 触控用户界面是在 GUI 的基础上, 以触觉感知作为主要指点技术的交互技术. 在 MR 中, 直接用手通过屏幕与虚实物体交互是一种比较自然的方式, 手机、平板电脑等移动设备以及透明触屏能提供这种支持, 这使得直接触控成为MR 中主要的交互方式之一. 这类研究成果包括 LBAH[26], Smarter Objects[27]等. 3) 3DUI 在 3DUI 中, 用户在一个虚拟或者现实的 3D 空间中与计算机进行交互. 3DUI 是从虚拟现实技术中衍生而来的交互技术, 在纯的虚拟环境中进行物体获取、观察世界、地形漫游、搜索与导航都需要 3DUI 的支持. 在 MR 环境中, 这种交互需求 同样大量存在, 因此它也是 MR 中重要的交互手段之一. 相关的研究工作包括 Mohr 等[28] 的工作及 User- Defined Gestures[29]等. 4) 多通道用户界面 多通道用户界面支持用户通过多种通道与计 算机进行交互, 这些通道包括不同的输入工具(如文字、语音、手势等)和不同的人类感知通道(视觉、听觉、嗅觉等), 在这种交互方式中通常需要维持 不同通道间的一致性. MR 中的许多应用都利用了多通道交互技术, 例如, WUW[30]支持用户通过手势、上肢动作或直接与物体进行交互, SEAR[31]融 合语音和视觉通道进行更加有效自然的交互. 5) 混合用户界面混合用户界面将不同但相互补足的用户界面 进行组合, 用户通过多种不同的交互设备进行交互[32]; 它为用户提供更为灵活的交互平台, 以满 足多样化的日常交互行为. 这种交互方式在多人协作交互场景中得到了成功的应用, 如 Reilly 等[33] 的工作和 Augmented surfaces[34]. 2.2 交互对象的虚实融合 1) 注册跟踪技术 AR 中, 在用户改变自身位置和观察角度的同时, 被观察的虚拟物体能实时融洽地与现实场景保持一致, 为此, 必须明确观察者和虚拟物体在现实环境中的准确位置和姿态. 虚拟物体在现实环境中的位置一般由设计者事先决定, 因此只要获得了观察者的位置和姿态, 就可以根据观察者的实时视角重建坐标系, 计算出虚拟物体的显示姿态, 实现交互对象的虚实融合. 这个过程就是三维注册过程, 其实现方法一般分为基于传感器的注册技术、基于视觉的注册技术和混合注册技术 3 种[32].与AR 不同, AV 是在虚拟环境中通过三维注册技术嵌入现实物体, 并使之能与虚拟环境实时交互. AV 技术的一个典型案例是利用相机捕捉真实对象的图像或三维模型, 并通过注册技术将其实时地嵌入虚拟环境, 使增强后的虚拟环境能够反映真实对象的状态并与之产生交互. 由于虚拟环境是系统确定的, 而实时采集的图形或三维模型又是基于标准坐标系的, 因此这个注册过程是相对简单的. 2) 显示设备 显示设备要解决的问题是让用户简单便捷地观察到虚实融合的场景. 在 AV 中, 通常可以直接使用传统显示设备来呈现虚实融合场景, 因为场景的主体是虚拟的, 其方位可由系统唯一确定. 而在 AR 中, 场景是用户直接观察到的现实世界, 技术 上一般采用头戴式显示设备(head-mounted displays, HMD)、手持式显示设备和投影式显示设备来实现.其中, HMD 包括光学透视型和视频透视型 2 种, 前者通过透明屏幕直接观察到现实世界, 后者用 头戴式摄像机采集现实世界视频并作为背景投影到显示器上; 手持式显示设备(如手机、平板电脑等)一般采用视频透视技术, 利用设备上的摄像头采集现实世界图像; 投影式显示设备利用各种投影仪将图像直接投影到墙壁、桌面、物理实体等现实世界的物体中, 从而在这些物体上叠加虚拟信息. 2.3 手势识别技术 MR 中的人机交互解决的主要问题是使用户能够尽可能自然高效地与虚实混合的内容进行交互, 手势识别技术能够使用户直接用手操作MR 环境中的物体, 是目前使用广泛的交互方式之一[35], 如文献[29-30,36]中的工作. MR 中使用的手势识别技术可以按照输入设备分为基于传感器和基于计算机视觉2 种. 基于传感器的手势识别技术利用不同的硬件设备(常见的有数据手套[37]和运动传感器[38]), 跟踪返回人手以及手部各骨骼所在的三维坐标, 从而测量手势在三维空间中的位置信息和手指等关节的运动信息.这种系统可以直接获得人手在三维空间中的坐标和手指运动的参数, 数据的精确度高, 可识别的手势多且辨识率高, 缺点是需要佩戴额外的设备; 基于计算机视觉的手势识别技术利用单个或多个摄像头来采集手势信息, 经计算机系统分析获取的图像来识别手势[39]. 这种技术的优点是学习和使用简单灵活, 不干扰用户, 是更自然和直接的人机交互方式; 但计算过程较复杂, 其识别率和实时性均较差. MR 中使用的手势(gesture)分为静态手势和动态 手势2 类. 静态手势, 也称之为手姿态(hand posture)是 指某一时刻静态的手臂、手掌或手指的形状、姿态,手势数据中不包含连续时间序列信息, 这类手势给用户提供了利用手掌就能完成的交互行为, 一般用基于图像特征聚类的方法进行识别. 动态手势是指在一段连续的时间内手臂、手掌或手指的姿态变化或移动路径, 手势数据中需要包括随时间变化的空间特征, 这类手势能够很好地表示空间路径手势; 因为包括时间序列信息, 这类手势一般需要使用基于隐马尔可夫模型(hidden Markov model, HMM), 基于动态时间规整和基于压缩时间轴的方法进行识别[40]. 2.4 3D 交互技术 3DUI 能够很自然地应用于 MR 场景, 这就需要 3D 交互技术的支持. 3D 交互技术支持用户使用 3D 的输入手段操作 3D 的对象及内容, 并得到 3D 的视觉、听觉等多通道反馈[41]. 文献[42]对目前主流的 3D 交互技术的应用场景、输入输出设备及技术特性进行了调查, 从这 3 个方面来看, 3D 交互与 MR 存在大量的交集. 实际上, 已经有文献指出, 3D 交互技术就是为了解决虚拟现实、MR 中的交 互问题的: 用户难以理解和操纵 3D 空间中的对象和内容[43]. 因此, 3D 交互技术是MR 中人机交互的 主要组成部分之一, 它能够为虚实环境下提供自然高效的交互方式. 面向通用任务的 3D 交互技术分为导航、选择/操作和系统控制控 3 个方面[44], 其实现结构可以划 分为 3 个具有显著特点的层次——几何模型、直接操纵隐喻、高层语义交互[45-46]. 其中, 几何模型层提供 3D 可视反馈, 直接操纵隐喻定义包括选取、点击、拖动、旋转在内的直接操纵功能, 而面向高层语义的交互隐喻层允许用户实现更为复杂的交互任务, 如指定路径进行漫游, 这些任务需要由多个直接操纵层的动作序列组合完成, MR 应用中的自然交互和直观反馈将主要在这一层得到实现. 在具体实现上, 3D 交互主要依赖摄像头、体感设备、数据手套、语音输入等交互设备获取 3D 空间输入, 依赖单独/环幕显示器、投影仪、HMD、3D音响系统等显示设备输出 3D 内容, 还包括手机、平板电脑等移动设备以及其他 3D 声音和触觉反馈设备. 其软件实现技术主要依赖立体显示、视角跟踪、身体和手势识别、室内外导航、物体操纵和 3D 音效等. 2.5 语音和声音交互技术 语音和声音正在快速地融入人们日常生活的计算环境中, 语音输入已经逐渐成为一种主要的控制应用和用户界面[47]. 从声音的类型上, 可以将这种技术分为非语音(声音)交互技术和语音交互技术. 前者主要使用声音给用户提供听觉线索,使用户能够更有效地掌握和理解交互内容[48], 也有研究利用环境声作为输入获取用户信息, 感知用户状态[49]; 后者是包括语音输入、语音识别和处理以及语音输出在内的一整套交互技术, 经过半个多世纪的发展, 在最近几年已经达到了大规模商用水平. 一个完整的语音交互系统可以分为语音输入系统和语音输出系统两部分. 语音输入系统又包括语音识别和语义理解2 个子系统. 前者负责将语音转化为音素, 其识别方法是利用相应的语音特征, 如梅尔倒谱和语音模型、HMM 和高斯混合 模型进行切分和识别; 后者则通过语言模型将前者的结果进行修正并组合成符合语法结构和语言 习惯的词、短语和句子, 其中应用最广泛的是多元语言模型[50]. 语音输出系统分为有限词汇和无限词汇 2 种: 有限词汇一般用于对有限的消息提示、控制指令、标准问题进行语音反馈; 对于无限词汇,例如盲人使用的读书软件或复杂的导航系统, 无法将所有句子进行预先录制, 只能通过语音合成的方法形成输出语音[51]. 在 MR 中, 语音交互是一个重要的交互手段, 研究者们有的直接利用语音识作为交互手段[31], 有的则将它作为额外的输入通道辅助感知用户的交互意图[52]. 2.6 其他交互技术 1) 触觉反馈技术 触觉(haptic)反馈技术能够产生力学信号从而通过人类的动觉和触觉通道给用户反馈信息[53].从“触觉”字面上看, 这项技术提供给用户通过触摸的方式感知实际或虚拟的力学信号, 然而实际上触觉反馈技术还包括提供体位、运动、重量等动觉通道的力学信号. 这一特点能够极大地拓宽 MR 的交互带宽, 增加 MR 应用的真实感和沉浸感. 文献[54]将该项技术用于乳腺癌触诊训练当中, 通过仿真运动模型, 被训人员能够亲身体验虚拟肿瘤上的触觉刺激. 2) 眼动跟踪技术 眼睛注视的方向能够体现出用户感兴趣的区域以及用户的心理和生理状态, 通过眼睛注视进行的交互是最快速的人机交互方式之一. 眼动跟踪技术通常分为基于视频(video-based)和非基于视频 (non-video-based)的 2 种[55]. non-video-based 方法[56]使 用接触式设备依附于用户的皮肤或眼球, 从而获取眼睛注视方向; video-based 方法[57]使用非接触式摄像机获取用户头部或眼睛的视频图像, 再用图像处理的方法获得头部和眼睛的方向, 最终组合计算出眼睛注视方向. FreeGaze[57]将眼动跟踪技术成功地应用在日常交互当中; 文献[58]将该技术用于协同工作的MR 环境中, 用与视线相关的视觉线索增强了用户的眼神交流. 3) 笔交互技术 笔式交互模拟了人们日常的纸笔工作环境,这种交互方式自然、高效, 笔交互设备具有便携、可移动的特点, 可以方便人们在不同的时间和地 ① https://www./ 点灵活地进行交流[59]. 笔交互技术的研究内容主要集中在 3 个方面: 笔式界面范式[59]、笔迹识别与 理解[60-61]、基于笔的交互通道拓展[62]. 研究者已经意识到, 笔式交互自然的交互方式和多样化的交互通道(笔迹、压力、笔身姿态等)能够为 MR 应用提供重要支持. 文献[63]将笔和交互平板作为主要交互工具, 实现了一个 MR 协同工作环境. 文献[64]则将笔式工具用于简化计算机辅助设计和加快学习过程当中. 4) 生理计算技术 生理计算是建立人类生理信息和计算机系统之间的接口的技术, 包括脑机接口(BCI)、肌机接口(MuCI)等[65]. 通过对采集的人体脑电、心电、肌肉电、血氧饱和度、皮肤阻抗、呼吸率等生理信息进行分析处理, 识别人类交互意图和生理状态, 在近几年得到了人机交互学术界的高度关注[66-68].研究人员通过将脑电设备与MR 图书相结合, 在少年儿童阅读的时候通过分析脑电情况对阅读材料进行一定的调整, 提高他们的阅读专注度[69]. 肌肉电也被应用到基于 MR 的游戏、生活应用、驾驶、手术中去①, 能够大大提高游戏的参与度、生活应用的便捷度、驾驶的安全性和手术操作的卫生程度等, 对丰富 MR 中的交互方式至关重要. 3 MR 中的交互系统与应用 人机交互是MR 的重要支撑技术之一, 人机交互的各项技术在MR 中广泛应用, 出现了不同种类的交互应用. 依据当前调研的文献看, 业界和研究者们对于实物交互、3D 交互应用、移动式交互应用和协作式交互应用尤为关注; 就交互设备而言, HWD、手持显示器、透明显示器及手机、平板电脑等移动设备使用得最广泛; 就用户界面形态而言, TUI, 3DUI, 多通道用户界面和混合用户界面占主要地位; 另外, 由于触屏设备的大量普及, 触控界面也作为一种基础交互方式普遍存在. 下面将按照用户界面形态作为基本划分, 对近年来具有代表性和创新性的 MR 交互系统及应用(如表 1 所示)做一个简单介绍. TUI 是 MR 应用中使用最多的一种交互范式,它支持用户直接使用现实世界中的物体与计算机进行交互. 在虚实融合的场景中, 现实世界中的 表 1 近年来有代表性和创新性的 MR 交互系统及应用
Tangible bits[25] TUI 混合用户界面 Augmented surfaces[34] TUI 混合用户界面 光学、机械、磁场等多 实物工具、环境媒体、 实现了现实世界与虚拟世界的 种传感技术, 图像识别 交互平板 高度融合 技术 图像识别技术 交互桌面、PC、投影等多种设备与实物之间的信息共享 cAR/PE![72] 3DUI 3D 交互技术 PC 虚实融合的交互工作空间 物体和虚拟叠加的信息各自发挥着自己的长处, 相互补足, 使交互过程更加有趣和高效. TUI 的一个典型案例是 Kato 等[24]的 VOMAR, 如图 2a 所示. 该应用中, 用户使用一个真实的物理的桨(physical paddle)选择和重新排列客厅中的家具, 桨叶的运动直观地映射到基于手势的命令中, 如“挖”一个对象从而选择它, 或“敲击”一个对象使它消失. TUI 中物体的特点是它们既是实际可触摸的物体,又能完美地与虚拟信息匹配并供用户进行操纵;这样用户便能将抽象概念与实体概念进行比较、组 合或充分利用, Studierstube[63](如图2b 所示)利用TUI 的这一特点实现了一个多用户信息可视化、展示和教育平台, 其利用摄像机跟踪用户手中的笔和交互平板, 使用户能够使用它们直接操控虚拟信息.每个用户都佩戴一个HMD, 可以看到叠加在交互平板中的 2D 图表, 并能使用各自的笔来操控和修改相应的 3D 模型; 在 MR 技术的帮助下, 不同用户眼中的模型得到了相应地视觉修正, 使得虚拟内容自然真实, 非常适合多用户协同工作, 类似的工作还有文献[73]. 另一个在人机交互学术界久负盛 名 TUI 案例是 Tangible bits[25], 该工作实现了一个 meta DESK(如图2c 所示)实物交互桌面. 在metaDESK 中, 虚拟信息的浏览方式被现实世界物体增强了,用户不再使用窗口、菜单、图标等传统 GUI, 而是利用放大镜、标尺、小块等物体进行更自然地交互,与之类似的还有文献[74]. a. VOMAR[24] b. Studierstube[63] c. metaDESK[25] 图 2 3 个典型的 TUI 上的 MR 应用 3DUI 在 MR 应用中大量的存在, 并且它与其他界面范式、交互技术、交互工具深度融合, 产生 了形式多样的创新型应用. cAR/PE![72]和 Reilly 等[33] 的工作(如图3a 所示)利用 MR 技术实现了一个远程会议室, 会议室的主体由 3D 模型构成, 在虚拟会议室中叠加了实时视频流以及其他 2D 信息便于交流, 身处不同地点的用户们可以方便地通过这个系统 进行面对面的会谈、信息展示和分享. 在 HoloDesk[71] 中(如图 3b 所示), 研究者实现了一个用手直接与现实和虚拟的 3D 物体交互的系统, 该工作的亮点在于它不借助任何标志物就能实时地在 3D 空间中建立虚实融合的物理模型, 实现了任何生活中的刚体或软体与虚拟物体的高度融合, 为MR 中自然人机交互起到了重要的支撑作用. SpaceTop[70](如图 3c 所示)将 2D 交互和 3D 交互融合到一个唯一的桌面工作空间中, 利用 3D 交互和可视化技术拓展了传统的桌面用户界面, 实现了 2D 和 3D 操作的无缝结合. 在 SpaceTop 中, 用户可以在 2D 中输入、点击、绘画, 并能轻松地操作 2D 元素使其悬浮于 3D 空间中, 进而在 3D 空间中更直观地控制 和观察; 该系统充分发挥了 2D 和 3D 空间中的优势, 使交互更为高效. 另一项近期的工作[28] 则尝 试利用图像处理和CAD 结合的方式, 将2D 的装备说明书自动转换为 3D 的交互式 MR 环境中, 使得原本难以理解的说明书变得更加直观, 易于学习. a. Reilly 等[33] b. HoloDesk[71] c. SpaceTop[70] 图 3 3 个典型的 3DUI 上的 MR 应用 多通道用户界面是近年来人机交互和 MR 研究的主要方向之一, 它支持用户通过多种通道与 计算机进行交互, 适当地利用通道之间的增益效应和互补性能改善交互效果. WUW 系统[30](如图 4a 所示)很好地利用了这一点, 它将虚拟信息投影在表面、墙壁和物理物体上, 并允许用户通过手势、上肢动作和物体的直接操控等多种途径与之进行交互, 不同交互通道相互补足, 提高了交互效率. Irawati 等[52](如图 4b 所示)则很好地利用多通道交互技术消除 MR 环境中的交互二义性, 在与 VOMAR 类似的虚拟家居设计环境中, 存在着较为严重的跟踪识别误差与交互二义性, 而在原本交互通道的基础上, 利用时间和语义融合技术将语音交互通道对交互行为进行修正, 能够很大程度上消除这种偏差, 弥补了MR 环境中交互不确定性较大的 缺陷. 此外, 语音交互通道作为一种辅助交互通道,已经被大量地应用于 MR 环境当中, 在 SEAR[31] 中, 一个融合视觉和听觉的多通道用户界面被用于管道维修应用当中, 视觉通道提供管道维修 MR 示意图, 听觉通道则根据视觉内容提供相应状态、操作方法等信息, 提高了维修工人的工作效率. a. WUW[30] b. Irawati 等[52] 图 4 2 个家居设计应用 混合用户界面将不同但相互补足的用户界面进行组合, 用户通过多种不同的交互设备进行交互[32]. 这种交互方式在多人协作交互场景中得到了成功的应用, 文献[34](如图 5a 所示)利用投影仪、PC、交互桌面、物理实体等多种交互设备和工具构建了一个多用户协同工作平台, 叠加在工作环境中的虚拟信息和不同设备的密切合作使用户之间、设备之间的交流和信息共享更加高效, 一个类似的近期成果是 Reilly 等[33]的工作. 前面提到过的 Tangible bits[25]也是混合用户界面的典型例子, 除了已经提到的 metaDESK, 这项工作中还包括 2 个重 要应用场景: ambientROOM(如图 5b 所示)和 trans-BOARD(如图 5c 所示), 它们三者一起将日常生活中 的各种实物、显示设备、绘图白板、有意或无意的用户行为都用在了MR 交互当中. 除了利用实物操作虚拟信息外, 房间内的光影、声音、气流和水流也被用于提供交互线索, 用户在普通绘图板上的写写画画, 通过摄像机拍摄和识别便能将数字 信息方便地分享和传输. 混合用户界面能够利用不同交互通道和不同交互设备的优势增强 MR 应用中的交互体验, 是 MR 未来很重要的发展趋势. a. Augmented surfaces[34] b. ambientROOM[25] c. transBOARD[25] 图 5 2 个混合用户界面上的 MR 应用 由于近年来手机、平板电脑的广泛普及, 以触控作为基础交互方式的 MR 应用大量存在. 文献[26] (如图 6a 所示)利用智能手机实现了一个在纸质地图上的信息增强系统, 纸质地图能够很好地使用户对地理位置的认知保持一致, 而叠加的虚拟内容能够提供详细拓展信息, 这使得他们的应用比一般的电子地图更容易使用. 此外, 这方面最新的成果之一[27](如图 6b 所示)将触屏操控的传统 GUI 叠加在现实世界当中, 拓展了物理实体的功能, 使它们变得更加“聪明”, 使用户能够通过平板电脑为上锁的门禁输入密码、开关点灯、调整收音机的音量等. a. LBAH[26] b. Smarter Objects[27] 图 6 2 个触屏用户界面上的 MR 应用 除了以上几种界面类型之外, 还有许多利用 了其他交互方法的 MR 应用. 例如, TeleAdvisor[36] 在传统GUI 上通过2D 界面远程辅助现实世界中的装配过程; 文献[54]将触觉用户界面用于模拟虚拟的肿瘤上的触觉刺激; 文献[69]中通过脑机接口,在少年儿童阅读 MR 读物的时候通过分析脑电情况对阅读材料进行一定的调整, 提高他们的阅读专注度. 当然, MR 里的用户界面之间存在大量交集, 不同交互范式和交互技术相互融合, 无法对它们进行严格划分, 但从近年来各种交互技术在 MR 中的应用来看, 多种交互通道融合、多种交互方式混合使用是未来的发展方向. 随着人机交互技术界面范式的推陈出新, 交互技术的不断发展, MR 应用将更加成熟, 用户的 MR 体验将更自然和高效. 4 存在的问题 经过 20 多年的发展, MR 相关技术已经取得了长足的进步, 在广泛的市场需求和业界的积极推动下展示出强劲的发展动力. 然而, 至少在人机交互方面, MR 的持续发展仍受到交互技术、界面范式、交互方式的社会认可这几方面问题的制约: 1) 交互技术问题 在注册跟踪技术上, 虚拟交互物体的真实世界注册仍不够稳定, 延迟和错误率都较高, 许多文献指出, 这是影响交互表现的重要原因之一. 在传感技术上, 目前的MR 系统大多只跟踪用户的头部和手部, 而忽略了其他感知和交互通道, 传感技术的缺失严重地制约着多通道交互 MR 系统的设计与发展. 在渲染技术上, MR 的终极目标是力求虚实物体无法分辨, 然而目前的大多数应用都无法实现这一点, 在遮挡关系、光照、材质和物理模型等方面仍存在较大差距, 这是导致用户无法理解交互场景的一个主要原因. 2) 界面范式问题 尽管已出现了大量的新型用户界面形态, 但 大部分 MR 应用仍脱离不了传统的 WIMP(window, icon, menu, pointer)界面范式. 其中很重要的原因是 TUI, 3DUI 等新型用户界面在处理复杂任务(如资源检索、系统参数设置、多任务管理)时效率低下, 使其无法完全替代 WIMP 的统治地位. 另一个主要原因是新型用户界面的可靠性得不到保障, TUI 和3DUI 受到交互技术的制约, 注册跟踪误差、交互延迟极大地影响了交互表现, 听觉界面在连续语音识别上还存在较高错误率, 触觉界面距离真实触感和动感模拟仍有很大差距. 设计合理的多通道或者混合型用户界面可能是目前技术条件下的最佳解决方案之一. 3) 交互方式的社会接受度大多数 MR 应用要求用户佩戴专用的交互工 具, 如 HMD、投影设备或其他手持显示设备等, 但当走出实验室后, 人们是否还愿意在工作场所、大街上佩戴这些交互设备? 当一个用户每时每刻都将手机举到眼前用来观察每一件事物时, 其他人是否会感到奇怪? 个人隐私可能也会存在问题,当用户用投影设备在墙壁或者桌面上显示己感兴趣的内容时, 如何保证旁边的人不会进行窥视?尽管MR 应用大量涌现, 但大部分这些应用都停留在实验室阶段, 很少在实际使用场景中得到验证, 社会接受度将是它们走出实验室, 并且在业界成功应用的关键挑战. 5 总结与展望 MR 经过了 20 多年的发展, 相关技术取得了显著的进步, 展示出强劲的发展前景. 人机交互是 MR 的重要支撑技术, 也是近年来国内外的研究热点. 多年来, MR 中的人机交互研究一直在探索更加自然和高效的交互方式. 本文对MR 中的人机交互设计原则与评估方法、相关交互技术、典型交互系统及应用归纳总结如下: 研究者们对 MR 中的人为因素、设计原则以及可用性研究做出了探讨, 提出了很多宝贵的建议与经验, 总结出了若干人为因素、较为完整的设计原则和可用性评估及设计方法; 但是这些方法多数来自于传统人机交互的研究, 其在MR 中的可行性如何仍需进一步讨论, 其他与MR 结合更紧密的原则则过于具体, 不具备通用性. 随着 MR 中的人机交互研究不断深入, 研究人员还需在这一方面投入更多的努力. 研究者们对 MR 中的不同界面范式、基础、应用和创新性交互技术进行了研究, 出现了 TUI、触控用户界面、3DUI、多通道用户界面、混合用户界面、听觉用户界面、触觉界面等多种用户界面;在交互对象的虚实融合技术的基础上, 手势识别技术、3D 交互技术、语音和声音交互技术、触觉反馈技术、眼动跟踪技术、笔式交互和生理计算技术广泛地应用, 极大地拓展了 MR 中的交互通道,为实现 MR 中自然高效的人机交互做出了巨大贡献. 然而受到目前软硬件技术手段的制约, 目前的交互技术仍在稳定性、感知能力和反馈能力上存在缺陷, 今后研究者们仍需寻找更多更可靠的软硬件条件支持交互技术的发展. 即便是在现有的技术条件下, 我们仍看到了大量极具创新性的 MR 应用, 实物交互、3D 交互、多通道和混合交互在这些应用中表现出了强大的生命力, 极大地促进了交互技术的发展. 我们相信, MR 交互技术的发展将会带来更多新思路, 触觉反馈和生理计算等新型交互方法将为 MR 提供更多的感知与表达方法. MR 中的人机交互还有很长的路要走, 期待它能够实现现实世界与虚拟世界的无缝融合, 抛弃传统的交互方式, 以一种全新的更加自然、高效的方式出现在人们面前. 参考文献(References): [1] Milgram P, Kishino F. A taxonomy of mixed reality visual dis-plays[J]. IEICE Transactions on Information and Systems, 1994, 77(12): 1321-1329 [2] Zhou Zhong, Zhou Yi, Xiao Jiangjian. Survey on augmented virtual environment and augmented reality[J]. Science China: Information Sciences, 2015, 45(2): 157-180(in Chinese) (周 忠, 周颐, 肖江剑. 虚拟现实增强技术综述[J]. 中国科学: 信息科学), 2015, 45(2): 157-180) [3] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality[J]. IEEE Computer Graphics and Applica-tions, 2001, 21(6): 34-47 [4] Azuma R T. A survey of augmented reality[J]. Presence: Te- leoperators and Virtual Environments, 1997, 6(4): 355-385 [5] Huang W D, Alem L, Livingston M A. Human factors in aug-mented reality environments[M]. New York: Springer Science & Business Media, 2012 [6] Livingston M A. Evaluating human factors in augmented real-ity systems[J]. IEEE Computer Graphics and Applications, 2005, 25(6): 6-9 [7] Livingston M A, Ai Z. The effect of registration error on track-ing distant augmented objects[C] //Proceedings of the 7th IEEE/ ACM International Symposium on Mixed and Augmented Re-ality. Los Alamitos: IEEE Computer Society Press, 2008: 77-86 [8] Drascic D, Milgram P. Perceptual issues in augmented reality[C] //Proceedings of Electronic Imaging: Science & Technology. Bellingham: International Society for Optics and Photonics, 1996: 123-134 [9] Neumann U, Majoros A. Cognitive, performance, and systems issues for augmented reality applications in manufacturing and maintenance[C] //Proceedings of Virtual Reality Annual Inter-national Symposium. Los Alamitos: IEEE Computer Society Press, 1998: 4-11 [10] Nakanishi M, Ozeki M, Akasaka T, et al. Human factor re-quirements for applying augmented reality to manuals in actual work situations[C] //Proceedings of IEEE International Con-ference on Systems, Man & Cybernetics. Los Alamitos: IEEE Computer Society Press, 2007: 2650-2655 [11] Robertson C M, MacIntyre B, Walker B N. An evaluation of graphical context as a means for ameliorating the effects of registration error[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 15(2): 179-192 [12] Robertson C M, MacIntyre B, Walker B N. An evaluation of graphical context when the graphics are outside of the task area[C] //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos: IEEE Computer Society Press, 2008: 73-76 [13] Broll W, Lindt I, Ohlenburg J, et al. An infrastructure for real-izing custom-tailored augmented reality user interfaces[J]. IEEE Transactions on Visualization and Computer Graphics, 2005, 11(6): 722-733 [14] D?nser A, Grasset R, Seichter H, et al. Applying HCI princi-ples to AR systems design[C] //Proceedings of the 2nd IEEE Virtual Reality Conference on International Workshop. Los Alamitos: IEEE Computer Society Press, 2007: 37-42 [15] Wloka M M, Anderson B G. Resolving occlusion in augmented reality[C] //Proceedings of the Symposium on Interactive 3D Graphics. New York: ACM Press, 1995: 5-12 [16] Darken R P, Sibert J L. Navigating large virtual spaces[J]. In-ternational Journal of Human Computer Interaction, 1996, 8(1): 49-71 [17] Wickens C D, Baker P. Cognitive issues in virtual reality[M] //Virtual Environments and Advanced Interface Design. New York: Oxford University Press, 1995: 514-541 [18] Hinckley K, Pausch R, Goble J C, et al. Design hints for spatial input[C] //Proceedings of ACM Symposium on User Interface Software & Technology (UIST’94). New York: ACM Press, 1994: 213-222 [19] Gabbard J, Swan II J E, Hix D, et al. Usability engineering: domain analysis activities for augmented-reality systems[C] //Proceedings of Electronic Imaging. Bellingham: International Society for Optics and Photonics Press, 2002: 445-457 [20] Dow S, Lee J, Oezbek C, et al. Wizard of Oz interfaces for mixed reality applications[C] //Proceedings of CHI’05 Ex-tended Abstracts on Human Factors in Computing Systems. New York: ACM Press, 2005: 1339-1342 [21] M?ller A, Kranz M, Diewald S, et al. Experimental evaluation of user interfaces for visual indoor navigation[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 3607-3616 [22] Bai Z, Blackwell A F. Analytic review of usability evaluation in ISMAR[J]. Interacting with Computers, 2012, 24(6): 450-460 [23] Lu Chunhua, Zhang Fengjun, Wu Huiyue, et al. Interaction techniques in scene planner system based on tangible user in-terface[J]. Journal of Computer-Aided Design & Computer Graphics, 2009, 21(1): 112-119(in Chinese) (吕春花, 张凤军, 武汇岳, 等. 基于 TUI 的场景规划系统中的交互技术[J]. 计算机辅助设计与图形学学报, 2009, 21(1): 112-119) [24] Kato H, Billinghurst M, Poupyrev I, et al. Virtual object ma-nipulation on a table-top AR environment[C] //Proceedings of IEEE and ACM International Symposium on Augmented Real-ity. Los Alamitos: IEEE Computer Society Press, 2000: 111-119 [25] Ishii H, Ullmer B. Tangible bits: towards seamless interfaces between people, bits and atoms[C] //Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1997: 234-241 [26] Morrison A, Oulasvirta A, Peltonen P, et al. Like bees around the hive: a comparative study of a mobile augmented reality map[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2009: 1889-1898 [27] Heun V, Kasahara S, Maes P. Smarter objects: using AR tech-nology to program physical objects and their interactions[C] //Proceedings of CHI’13 Extended Abstracts on Human Factors in Computing Systems. New York: ACM Press, 2013: 961-966 [28] Mohr P, Kerbl B, Donoser M, et al. Retargeting technical do-cumentation to augmented reality[C] //Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM Press, 2015: 3337-3346 [29] Piumsomboon T, Clark A, Billinghurst M, et al. User-defined gestures for augmented reality[M] //Lecture Notes in Computer Science. Heidelberg: Springer, 2013, 8118: 282-299 [30] Mistry P, Maes P, Chang L. WUW—wear Ur world: a wearable gestural interface[C] //Proceedings of CHI’09 Extended Ab-stracts on Human Factors in Computing Systems. New York: ACM Press, 2009: 4111-4116 [31] Goose S, Sudarsky S, Zhang X, et al. Speech-enabled aug-mented reality supporting mobile industrial maintenance[J]. IEEE Pervasive Computing, 2003(1): 65-70 [32] Zhou F, Duh H B L, Billinghurst M. Trends in augmented real-ity tracking, interaction and display: a review of ten years of ISMAR[C] //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos: IEEE Computer Society Press, 2008: 193-202 [33] Reilly D, Echenique A, Wu A, et al. Mapping out work in a mixed reality project room[C] //Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM Press, 2015: 887-896 [34] Rekimoto J, Saitoh M. Augmented surfaces: a spatially con-tinuous work space for hybrid computing environments[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1999: 378-385 [35] Wang Xiying, Dai Guozhong. A hierarchical method for inter-active gesture modeling and recognition towards VR applica-tion[J]. Journal of Computer-Aided Design & Computer Grap-hics, 2007, 19(10):1334-1341(in Chinese) (王西颖, 戴国忠. 面向虚拟现实的层次化交互手势建模与理解方法[J]. 计算机辅助设计与图形学学报, 2007, 19(10): 1334-1341) [36] Gurevich P, Lanir J, Cohen B, et al. TeleAdvisor: a versatile augmented reality tool for remote assistance[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2012: 619-622 [37] Zimmerman T G, Lanier J, Blanchard C, et al. A hand gesture interface device[J]. ACM SIGCHI Bulletin, 1987, 18(4): 189-192 [38] Wang Wanliang, Yang Jingwei, Jiang Yibo. Motion sensor based gesture recognition[J]. Chinese Journal of Sensors And Actuators, 2011, 24(12): 1723-1727(in Chinese) (王万良, 杨经纬, 蒋一波. 基于运动传感器的手势识别[J]. 传感技术学报, 2011, 24(12): 1723-1727) [39] Charayaphan C, Marble A E. Image processing system for in-terpreting motion in American sign language[J]. Journal of Biomedical Engineering, 1992, 14(5): 419-425 [40] Ren Haibing, Zhu Yuanxin, Xu Guangyou, et al. Vision-based recognition of hand gestures: a survey[J]. Acta Electronica Si-nica, 2000, 28(2): 118-121(in Chinese) (任海兵, 祝远新, 徐光祐, 等. 基于视觉手势识别的研究— —综述[J]. 电子学报, 2000, 28(2): 118-121 ) [41] Bowman D A, Coquillart S, Froehlich B, et al. 3D user inter-faces: new directions and perspectives[J]. IEEE Computer Graphics and Applications, 2008(6): 20-36 [42] Takala T M, Rauhamaa P, Takala T. Survey of 3DUI applica-tions and development challenges[C] //Proceedings of IEEE Symposium on 3D User Interfaces. Los Alamitos: IEEE Com-puter Society Press, 2012: 89-96 [43] Bowman D A, Kruijff E, LaViola J J, Jr, et al. An introduction to 3-D user interface design[J]. Presence: Teleoperators and Virtual Environments, 2001, 10(1): 96-108 [44] Hand C. A survey of 3D interaction techniques[J]. Computer Graphics Forum, 1997, 16(5): 269-281 [45] Ji Lianen, Zhang Fengjun, Fu Yonggang, et al. 3D Interaction Techniques Based on Semantics in Virtual Environments[J]. Journal of Software, 2006, 17(7): 1535-1543(in Chinese) (纪连恩, 张凤军, 付永刚, 等. 虚拟环境下基于语义的三维交互技术[J]. 软件学报, 2006, 17(7): 1535-1543) [46] Ji Lianen, Zhang Fengjun, Wang Liang, et al. A framework for 3D interaction based on scene semantics[J]. Journal of Com- puter-Aided Design & Computer Graphics, 2006, 18(8):1236-1242(in Chinese) (纪连恩, 张凤军, 王 亮, 等. 基于场景语义的 3D 交互体系结构[J]. 计算机辅助设计与图形学学报, 2006, 18(8): 1236-1242) [47] Arons B, Mynatt E. The future of speech and audio in the in-terface: a CHI’94 workshop[J]. ACM SIGCHI Bulletin, 1994, 26(4): 44-48 [48] Gaver W W. Synthesizing auditory icons[C] //Proceedings of the INTERACT’93 and CHI’93 Conference on Human Factors in Computing Systems. New York: ACM Press, 1993: 228-235 [49] Min J K, Doryab A, Wiese J, et al. Toss’n’turn: smartphone as sleep and sleep quality detector[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 477-486 [50] Ke Dengfeng, Xu Bo. Some basic problems of speech recogni-tion in the internet era[J]. Science China: Information Sciences, 2013, 43(12): 1578-1597(in Chinese) (柯登峰, 徐 波. 互联网时代语音识别基本问题[J]. 中国科学: 信息科学, 2013, 43(12): 1578-1597) [51] Fellbaum K R. Speech Input and Output Technology-State of the Art and Selected Applications[C] //Proceedings of Applica-tions of Natural Language to Data Bases. Manchester: Univer-sity of Salford Press, 2003: 7-13 [52] Irawati S, Green S, Billinghurst M, et al. "Move the couch where?": developing an augmented reality multimodal inter-face[C] //Proceedings of IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos: IEEE Com-puter Society Press, 2006: 183-186 [53] Hayward V, Astley O R, Cruz-Hernandez M, et al. Haptic in-terfaces and devices[J]. Sensor Review, 2004, 24(1): 16-29 [54] Jeon S, Knoerlein B, Harders M, et al. Haptic simulation of breast cancer palpation: a case study of haptic augmented real-ity[C] //Proceedings of the 9th IEEE International Symposium on Mixed and Augmented Reality. Los Alamitos: IEEE Com-puter Society Press, 2010: 237-238 [55] Ji Q, Zhu Z. Non-intrusive eye and gaze tracking for natural human computer interaction[J]. Mensch-Maschine-Interaktion Interaktiv, 2003, 6: 1-14 [56] Gips J, Olivieri P, Tecce J. Direct control of the computer through electrodes placed around the eyes[C] //Proceedings of the 5th International Conference on Human-Computer Interac-tion. Orlando: Elsevier Press, 1993: 630-635 [57] Ohno T, Mukawa N, Yoshikawa A. FreeGaze: a gaze tracking system for everyday gaze interaction[C] //Proceedings of the Symposium on Eye Tracking Research & Applications. New York: ACM Press, 2002: 125-132 [58] Tateno K, Takemura M, Ohta Y. Enhanced eyes for better gaze-awareness in collaborative mixed reality[C] //Proceedings of the 4th IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos: IEEE Computer Society Press, 2005: 100-103 [59] Dai Guozhong, Tian Feng. Pen-based user interface[M]. Hefei: Press of USCT, 2009(in Chinese) (戴国忠, 田 丰. 笔式用户界面[M]. 合肥: 中国科学技术大学出版社, 2009) [60] Jiang Y, Tian F, Wang X, et al. Structuring and manipulating hand-drawn concept maps[C] //Proceedings of the 14th Inter-national Conference on Intelligent User Interfaces. New York: ACM Press, 2009: 457-462 [61] Wang Xiaochun, Tian Feng, Dai Guozhong. Table-form making based on pen interaction[J]. Journal of Computer-Aided Design & Computer Graphics, 2007, 19(5): 558-562(in Chinese) (王晓春, 田 丰, 戴国忠. 基于笔交互的表格制作[J]. 计算机辅助设计与图形学学报, 2007, 19(5): 558-562) [62] Tian F, Xu L, Wang H, et al. Tilt menu: using the 3D orienta-tion information of pen devices to extend the selection capabil-ity of pen-based user interfaces[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1371-1380 [63] Szalavári Z, Schmalstieg D, Fuhrmann A, et al. “Studierstube”: An environment for collaboration in augmented reality[J]. Vir-tual Reality, 1998, 3(1): 37-48 [64] Wang J, Yuan L, Liu T, et al. Three-dimensional interactive pen based on augmented reality[C] //Proceedings of the Interna-tional Conference on Image Analysis and Signal Processing. Los Alamitos: IEEE Computer Society Press, 2010: 7-11 [65] Allanson J, Fairclough S H. A research agenda for physiologi-cal computing[J]. Interacting with Computers, 2004, 16(5): 857-878 [66] Benko H, Saponas T S, Morris D, et al. Enhancing input on and above the interactive surface with muscle sensing[C] //Proceedings of the ACM International Conference on Interac-tive Tabletops and Surfaces. New York: ACM Press, 2009: 93-100 [67] Afergan D, Peck E M, Solovey E T, et al. Dynamic difficulty using brain metrics of workload[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 3797-3806 [68] Solovey E T, Zec M, Garcia Perez E A, et al. Classifying driver workload using physiological and driving performance data: two field studies[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 4057-4066 [69] Huang J, Yu C, Wang Y, et al. FOCUS: enhancing children’s engagement in reading by using contextual BCI training ses-sions[C] //Proceedings of the 32nd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 1905-1908 [70] Lee J, Olwal A, Ishii H, et al. SpaceTop: integrating 2D and spatial 3D interactions in a see-through desktop environment[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2013: 189-192 [71] Hilliges O, Kim D, Izadi S, et al. HoloDesk: direct 3D interac-tions with a situated see-through display[C] //Proceedings of the SIGCHI Conference on Human Factors in Computing Sys-tems. New Yor k: ACM Press, 2012: 2421-2430 [72] Regenbrecht H, Lum T, Kohler P, et al. Using augmented virtu-ality for remote collaboration[J]. Presence: Teleoperators and Virtual Environments, 2004, 13(3): 338-354 [73] Chan L K Y, Lau H Y K. A tangible user interface using spatial Augmented Reality[C] //Proceedings of IEEE Symposium on 3D User Interfaces. Los Alamitos: IEEE Computer Society Press, 2010: 137-138 [74] Yoshida T, Tsukadaira M, Kimura A, et al. Various tangible de-vices suitable for mixed reality interactions[C] //Proceedings of the 9th IEEE International Symposium on Mixed and Aug-mented Reality. Los Alamitos: IEEE Computer Society Press, 2010: 283-284 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
来自： 昵称35641324 > 《科技》
