体验｜自然交互：用户角色、认知与行为有什么不同？

自然用户界面以可穿戴设备(Wearable Device)、智能语音助手(Smart Voice Assistant)、虚拟现实(Virtual Reality)、增强现实(Augmented Reality)和交互式墙(Interactive Wall)等形式存在。结合沉浸式技术，语音识别、手势和表情识别，自然交互方式可以重塑用户体验，改变电子设备与人之间的关系以及我们感知世界的方式。

本文介绍基于自然交互的用户界面如何重塑用户扮演的角色，如何改变人与设备之间的关系，自然交互与沉浸式技术的结合又在怎样改变用户的认知与行为。阅读时间约9分钟。

?

?

?

 01  ·  用户的角色

▎用户共创

许多基于自然交互的产品不再将用户视为一个任务的执行者，而是将其视为故事的共同创作者(co-authorship)和参与者(participant)。

大家比较熟悉的有最传统的乐高，还有模拟人生、我的世界、动物森友会等基于PC端、移动端和Switch的场景和角色共创。

在这个共同创作的过程中，设计师们构建了一个能激发用户创造力的3D环境和框架，帮助他们以共同创作者的身份创造一段属于自己的体验。

与自然交互方式相结合后，衍生出手势交互的音乐墙、互动桌等，故事共创的VR游戏甚至互动戏剧（例如The Tempest - https://www./the-under-presents-tempest-oculus-rift-view-225750213.html）。

▎从三个维度重塑用户体验

自然交互将交互场景从屏幕转移到3D空间。交互方式从鼠标扩展到手指，手势和语音。用户体验过程中的情感变得更加丰富，尤其是好奇，惊奇，兴奋，寒冷，愉悦等，长时间的情感叠加也让他们在体验过程中产生了具有记忆点的情绪。

? 内心体验
  强调个人和情感体验；

? 环境体验
  关注身体运动以及用户与环境之间的关系；

? 社交体验
  强调社交互动和分享体验。

?

?

?

 02  ·  感知与认知

▎基于沉浸式技术，真实世界与虚拟世界融合

1 - 虚拟世界和真实世界 开始使用相同的交互方式；

2 - AR和MR给现实世界加上个性化的滤镜

    无论是将我们带回50年前的历史滤镜(ex. NYU history)，博物馆的解说滤镜，日常生活购物时的标签滤镜，还是基于面部表情的AR滤镜，都是在现实生活中添加了另外一个层次，基于我们自己的喜好、行为和交互类型而各不相同。   

“ 十年之后的世界可能不会有太大的变化，但我们如何看到的世界将会发生巨大的变化。每个人看到的世界可能是不一样的，他们可以利用mixed reality像滤镜一样看到他们想看到的世界。' 

— Anrick Bregman

3 - 通过VR进入一个完全不同的世界

? 在场的感觉 (the sense of presence) —— 我感觉身临其境；

? 成为故事一部分的感觉 (be a part of the story) —— 我自己创造体验；

? 成为能动者或施为者 (the sense of agency) —— 我具有控制感(the capacity of individuals to act independently and to make their own free choices)。

▎具身认知 Embodied Cognition

具身认知是生理体验与心理体验的强烈关联。我们在上一章中说到身体行为塑造我们的认知方式。

“ We do not perceive stimuli or retinal images or sensations or even just things; what we perceive are things that we can eat, or write with, or sit down on, or talk to. 我们不会感知到刺激或视网膜图像或感觉，甚至是事物；我们所感知到的是我们可以吃的，可以用来书写的，或可以坐下的，可以与之交谈的事物。' 

— E. J. Gibson, 1982

例如，让用户产生临场感(Presence)的VR体验中，用户看到了自己在虚拟环境中的可互动形象，并通过动作得到了来自虚拟世界的反馈，于是将自己视为虚拟环境的一部分，同时也会不自觉地将VR设备（例如手柄、手套等）看成自己身体的一部分。

在交互过程中，一个具体的环境会唤起用户的现有技能，诸如”触摸“，”抓住“和”托起“之类的自然动作将改变用户对其身体能力和环境的感知：

? 我可以看到它，触摸它，闻到它的气味，听到它 。

    → 所以它存在。

? 我可以使用它，对其进行操作 。

    → 因此，我将其视为我可以使用的工具。

▎如何看待这个世界?

虚拟现实其实有一个绰号：“共情激发器” （Empathy Machine）。

“ Stepping outside of one's self in VR can provide enough of a perspective shift that can foundationally change a person's thinking.”

— Thong Nguyen

它是指通过沉浸式体验和具体化的认知来改变人们对特定事物的态度的能力，例如种族歧视、老年化、女性堕胎等。

The Key - 身临其境的VR体验，用户可以与类似梦境的故事互动，最终发现失去的记忆，在20分钟的体验过程中感受到迷失和伤痛，体会到难民的艰难处境。

一位用户描述了这种经历后的感受：

“ 我完全没有想到我会被这种经历深深地打动，也许是故事，也许是我想要抓住一个东西但怎么也抓不住，但肯定是失去重要的东西的感觉，看着珍贵的东西被带走了却又无能为力。这种无助和绝望的感觉深深地铭刻在我的脑海中，即使在三周后我仍然可以感觉到。”

▎记忆、学习和注意力

只有当互动与他们的技能匹配时，用户才会感到自然。当我们帮助用户使用基本技能执行任务时，我们还将减少他们的认知负担。这些基本技能包括：听，见和做。

人脑会记住所读内容的10％，所听内容的20％，所模拟内容的90％。

由于人具有神经可塑性和适应环境变化的重要能力，利用XR模拟实际行动可以重塑和修改我们的信息处理流程。使用沉浸式技术和自然交互模拟和执行动作，使我们能够以更具体验性和更深入的方式来学习、感受、记住和处理新的想法。

当我们到达VR中的临场感(presense)时，我们的大脑在编码记忆方面变得更加精确，也更快。

（图左）马里兰大学的研究表明，与在平面屏幕上观看相比，通过VR实操型学习时，记忆的准确性提高了约9％。

（图右）STRIVR进行的一项研究表明，用户的响应时间缩短了12％。

?

?

?

 03  ·  行为和情感

▎Proxemics 空间关系不再局限于人与人

空间关系涉及到两个人之间的空间距离，定义了他们在特定场景下的亲密程度，包括亲密距离（0-50cm），个人距离（50-1m），社交距离（1-4m），公共距离（4m以上）。通过社交互动，人们可以建立不同的空间关系，这取决于他们的心理安全感，是否放松以及是否希望社交。

3D用户体验与环境和社交互动紧密相关，在这里我们不仅能够定义人与人之间的空间关系，而且能够定义人与设备之间的空间关系。例如，人与手机、手表等设备通常具有比电脑更亲密的空间关系，而电视、投影仪等则位于更疏远的社交关系范围。

用户也开始在其智能设备或应用程序上附加特定个性，无论是功能性的还是情感性的，无论是设备本身还是与使用该设备进行交互的人。

人们通过亲密互动（例如触摸和语音）可以建立亲密关系。例如，当我们醒来，工作甚至睡觉时，可以随身携带手机，智能手表和手镯，并通过浏览或记录个人的信息来与他们互动。

当我们谈论空间关系时，我们也在谈论隐私。个人空间在NUI中非常重要。BigScreen的个人空间气泡代表了一项创新实验：成功创建社交敏感的空间，同时为用户提供安全的隐私气泡。

▎带来完全不同的社交属性

人与人之间互动的主要方式是：交流（交流），合作（具有共同目标），协调（组织和优先级）和协作（共享创建）。

? 沟通与合作

想法的共享不再局限于照片，视频和屏幕，我们现在能够远程共享空间，环境和体验。

空间创造了一种可以传送的存在感，共享工作空间使人们可以摆脱地理和环境限制，拥有更自然的社交体验。

? 协调

Google有句名言：

“ Google's mission is to organize the world's information and make it universally accessible and useful.”

在信息时代，谷歌主要通过搜索从浏览器访问信息。但是在云计算的时代，信息需要变得此刻、此地就可以访问。基于地理空间位置和物体本身特质的AR云(AR Cloud)满足了多人协作，实时访问的需求。

我们可以将AR云描述为现实世界的数字副本，适用于所有人可见且可访问的整个世界。例如，纪念碑，建筑物甚至一段故事。

▎个人身份和社会关系的演变

3D头像已逐渐成为用户的数字化形象，向别人展示用户想要被看见的个人形象，同时也成为他们新的社交身份。这些3D头像有时候以立体的全身像展示出来，可以与他人进行手势、表情等互动，例如：点赞、自拍、击掌等。

?

?

?

 04  ·  小结

? 用户共创 - 许多基于自然交互的产品不再将用户视为一个任务的执行者，而是将其视为故事的共同创作者(co-authorship)和参与者(participant)。 

? 自然交互从内心体验、环境体验和社交体验重塑用户体验。

? AR和MR给现实世界加上个性化的滤镜，未来10年后，每个人看到的世界可能都不一样。

? 具身认知，让用户产生临场感(Presence)的VR体验中，用户看到了自己在虚拟环境中的可互动形象，并通过动作得到了来自虚拟世界的反馈，于是将自己视为虚拟环境的一部分，这个环境唤起用户的现有技能，诸如”触摸“，”抓住“和”托起“之类的自然动作将改变用户对其身体能力和环境的感知。

? 人脑会记住所读内容的10％，所听内容的20％，所模拟内容的90％。当我们到达VR中的临场感(presense)时，我们的大脑在编码记忆方面变得更加精确，也更快。

? Proxemics 空间关系不再局限于人与人，人与设备之间也存在着心理上和生理上的空间关系。

? 自然交互同时也带来了人与人之间交流和协作的方式，3D头像在虚拟世界中的应用也在慢慢改变人们的社交属性和方式。

//////////// END ////////////