分享

未来我们给计算机输入信息的方式…可能超乎你的想象

 造就Talk 2020-07-21

电脑键盘在没出毛病的时候,很少会引起使用者的注意。键盘是让人按和听的,大多数时候都被忽略了。一旦你熟悉了这个东西,你通常不会注意自己在按的键,也注意不到那些按键发出的轻微噼啪声,而是沉浸于屏幕上出现的东西。

自古以来,技术一直是人类和环境之间的一种媒介。起初,当人类的身躯无法胜任一项工作时,他们发明了工具来帮他们做事,比如斧子、锤子、滑轮。几千年来,交给机器处理的体力工作越来越多,但人类仍然肩负着大部分的信息处理工作。在过去的100年里,这种情况发生了巨大变化。
 
可以进行密码破译和复杂计算等工作的计算机打破了那种局面。数据处理设备需要比杠杆和轮子更加复杂先进的界面。但能够加强信息任务人机协作的界面也受到了自身设计的局限。
 
格文·沙尔克

“这带来了一个信息处理问题,”美国国家自适应神经技术中心副主任格文·沙尔克(Gerwin Schalk)说,“在我们和环境的互动中,突然不再只是人类和工具,两者之间多了某种东西。那种东西叫做计算机。”

沙尔克认为,问题是现在的人机界面大大限制了人类和计算机的能力。

“计算机非常快,极为复杂先进,能够在眨眼之间就处理好复杂无比的数据,”他说,“而人类则非常善于处理其他事情。他们看着一幅场景,立刻就能知道发生了什么。他们能弄清楚复杂的关系。现在的问题是沟通的问题。

因此,深层的问题和疑问是,极为强大和复杂的人类如何与日益复杂、能力逾强的电脑互动?无论是机器人、计算机还是我们的手机,都极其复杂。”


“如果能够做到这一点,其意义将远远超过我们作为人类所做过的任何事情。”


在技术历史的此时此刻,人机界面是为了让计算机在人类感觉和运动系统的局限内做尽可能多的事情。考虑到很多人使用计算机的目的,这种安排效果其实还不错,甚至可以说很棒。


在大多数时候,人们用计算机来读写文字,观看或点击图片和视频。“键盘和鼠标——以及触控板和较少使用的语音控制,我认为语音控制还没有普及是因为其可靠性较低——仍然非常适合这些任务,不仅便宜,而且好用,”机器人专家、旧金山Mayfield Robotics公司首席技术官萧凯珍(音译)说。但对其他人而言,传统的界面不够用。

“我们无法向计算机解释复杂的计划、意图或者看法,”沙尔克说。

简单来说,这是个沟通问题,比复杂多样的人际沟通更具挑战性。在与另一个人沟通时,总是会发生某种程度的转换。但与计算机沟通所需的额外步骤异常困难,几乎令人却步。
 
“如果你想向计算机或者机器人解释某个东西,你必须把那个生动的图像(从你的脑海中)拿出来,转换成语法和语义文字,因此会失去很多生动性和背景信息,”沙尔克说,“然后,你把这些文字转换成手指动作,用键盘输入计算机。想想就让人觉得荒谬。”
 
在现实世界中,对大多数人而言,这种荒谬并不明显。如果你想写一封邮件,用键盘输入就行了。这很简单嘛。

“但如果你站在非常高的高度,去思考我们与环境的互动相比从前已经变得有多么可怜,那么你就会意识到这确实是个问题。实际上,这个问题可以被量化,”沙尔克说。

“任何形式的人类沟通都不会超过每秒50个拍子,无论是说话还是打字都是如此。所以,这基本上就是人类把信息传输给外部技术的最快速率。每秒50拍不仅不够,而且是万分可怜。想想计算机每秒能处理多少GB的数据,再想想人脑能处理多少,二者相差何止十万八千里。”

随着计算机变得更加复杂先进,这种差距变得更加明显。几位机器人专家表示,如果不改善现有界面,机器学习和人工智能等领域将停滞不前,除非人们做出改变。

凯特·达林

“随着语音识别、自然语言处理、面部识别等技术的进步,我们与计算机的沟通理应超出屏幕的范畴,包含一些我们在进行人际沟通时使用的更为巧妙的沟通方式,”麻省理工学院人机交互专家凯特·达林(Kate Darling)说,“如果想让计算机模拟人类的情感状态,那么通过语调、动作和其他提示来表达情感将更加充分地展现其能力。”
 
这些提示必须是流畅互动的一部分,这样效果才会好。这意味着要为那些在驾驶舱里配合飞行员或者在手术室里配合医生工作的机器人建立巧妙的沟通方式。在这些环境中,人类需要能够预测机器人即将做什么,同时继续专注于自己手头上的事情。

米西·卡明斯

“人类与机器人一起工作时,他们必须知道机器人什么时候会有所动作,”杜克大学机器人技术实验室主任米西·卡明斯(Missy Cummings)说,“与其他人一起时,我们利用眼睛余光来观察细微的动作,据此做出推断,但机器人没有同样流畅的动作。所以,我们试图想办法利用光和声音来进行更加细致的沟通。”
 
在某些环境中,比如开车时需要注意道路状况,语音沟通是最好的沟通方式。“当然,这方面的问题在于语音识别系统还不够精良,”卡明斯说,“我不敢肯定语音识别系统将达到能够识别语境的程度,而语境恰恰是交谈中最讲技巧的地方。”
 
语音界面的改善已经在进行当中,其根植于这样一种看法,即Siri等语音助手和亚马逊Echo等语音设备将在人们的生活中扮演越来越重要的角色。同时,我们可能将看到其他界面的改善。


“我们被兔子洞里闪闪发亮的东西引诱了。”


触摸屏已经得到了某种程度的改善。这种界面长期遭到忽视,被当成热门产品上的无用之物,因为这项技术当时不是非常好。

2007年iPhone发布时,一位评论员在Engadget网站上写道:“触摸屏按钮?坏主意。这种东西绝对不会流行起来。”(沙尔克把iPhone称为人机交互的“重大进步”,但也是一种“缓解策略”)。但到目前为止,语音控制、手写板、动作控制等其他界面尚未真正流行起来。

很多技术专家声称,增强现实和虚拟现实的崛起将催生下一代人机界面。但几位工程师和学者说,这种飞跃所需的技术进步还没有出现。
 

首先,即使是最先进的增强现实平台——微软HoloLens是最常被提到的——也无法在用户移动时,零延迟地精确描绘出真实环境。这意味着那些系统虽然可以轻松地把网页或者其他虚拟元素投射到房间的墙上,但它们无法引发革命,从根本上改变人机交互方式。
 
对于那些系统的开发者来说,一个重要的问题是弄清楚非虚拟世界在多大程度上和在什么时候对人们很重要。换句话说,现实世界有多少是需要可见的?

例如,乔治亚理工学院交互计算系教授布莱尔·麦金泰尔(Blair MacIntyre)说,就电话会议而言,增强现实比虚拟现实更合用。“你绝对不会想要虚拟现实版电话会议,因为我可能需要看笔记,在电脑上输入东西,或者拿起咖啡杯而不会碰倒它。”
 
麦金泰尔喜欢把这个问题称为“啤酒问题”,也就是在玩电子游戏期间,你需要停下来喝口饮料。“在虚拟现实中,这变得很困难,”他说,“而在增强现实中,这更加简单一点。”

他指出,增强现实最终将能够追踪更小的物体,把它们叠加到现实世界,这将使其应用和界面更加完善,显示将变得更加清晰。例如,在机场查询航班动态时,可以利用增强现实,在视野内查找,而不是用智能手机搜索信息或者在机场显示屏上找来找去。
 
“但我认为在必要时,我们仍然需要用键盘和触摸屏进行输入。我真是这样想的,”他说,“触觉反馈超级重要。我曾用漂浮在半空的HoloLens虚拟键盘进行输入,不好用,对吧?因为当你感受到手指点击虚拟键盘的视觉或听觉反馈时,你必须刻意去控制手的动作。”
 
《少数派报告》海报

他说,智能手机用户已经习以为常的动作可能会转移到增强现实领域。这种界面使很多人联想到科幻电影《少数派报告》。在影片中,可以通过一系列手势来安排复杂的计算任务。“我设想了HoloLens的未来,”麦金泰尔说。

“在这样的未来世界里,我仍然拥有手机或平板电脑,我可以用它们进行非常精确的互动。然后,当视觉追踪变得足够好,能够准确追踪我的手指时,我会利用增强现实技术在空中进行缩放或拖动旋转操作。但它必须变得比现在更好。我认为这个东西将变得更好。”


“这不是科幻小说。这是公开发表的同行评审论文。”


然而,严格来说,更好的界面未必能流行起来。它们还必须取悦用户。这可以说是iPhone最大的成功之一:美观漂亮、充满新意的iPhone使人们愿意和它互动。iPhone给人的感觉很直观,但诱人的界面可以说比直观的界面更重要。

例如,手势的使用方式还不是非常直观,但整个研究界都热衷于手势界面。杜克大学的机器人专家卡明斯说,这未必是好事。人类习惯用手势来强调要说的话,但有些人是例外,他们用手来打手语。

“我们究竟用手势做了多少事?”她说,“这实际上增加了你的精神负担,因为你必须记住所有不同手势的意思。我们被兔子洞(意指奇异世界的入口)里闪闪发亮的东西引诱了。”
 
其实键盘使用起来并不是特别直观。现在对于很多人来说,键盘可能已经习惯成自然,但以前可不是这样。

迈克尔·克莱曼

“即使是到今天,如果你仔细想想,就会发现你在使用一种水平放置的指针设备,而指针却出现在垂直放置的屏幕上,”杜克大学的另一位机器人专家迈克尔·克莱曼(Michael Clamann)说,“这种转换很奇怪。触摸屏略微解决了这个问题,但受到手指宽度的限制,你每次点击屏幕时,都会遮住部分屏幕。虽然所有这些界面已经有所改善,但限制依旧存在。”

“计算机的问题在于,它们仍然是人和工作之间的媒介,”他接着说道。
 
我们究竟应该如何使计算机摆脱这个身份?在实现某些重大的技术进展后,增强现实开始解决这个问题。但也有一些更为激进的想法。格文·沙尔克的实验室位于纽约州奥尔巴尼,那里的科学家们致力于开发人脑和计算机直接交互的界面。

他们的主要挑战之一是找到更好的办法来实时监测大脑的活动,以便弄清楚这些活动的含义。沙尔克及其同事已经证明,根据大脑活动直接得出其含义在理论上是可能的。这种想法对人机交互的未来具有重大意义。
 
“如果你可以和计算机直接交互,绕过人类感觉和运动系统的限制,就能让技术直接获取人的所有感觉、看法和渴望,”他说,“你可以彻底消除交互瓶颈,建立技术和人脑之间的共生关系。”
 

有理由相信这可能会实现。“我们已经能够把大脑信号转换成完全书面的完整句子,”他说,“通过分析大脑信号,我们能知道你是在用嘴说话,还是你在脑海中说话。这不是科幻小说。这是公开发表的同行评审论文。”

然而,如果说有某种新界面将在不久后改变人机交互方式,那不可能是人脑和计算机的直接对话。至少没那么快。

目前,沙尔克及其同事在病人身上开展研究,这些病人因为临床治疗而已经在脑部植入了电极。他们的研究很容易出错。今年早些时候,丹尼尔·恩伯(Daniel Engber)在一篇有关大脑黑客的《连线》深度报道中写到,沙尔克的方法“充其量只是概念验证”。

沙尔克本人也是这么形容的。他说,他正在等待更好的技术来准确检测大脑活动,不需要进行侵入性的大脑植入。他说,如果有了这样的技术,“我们距离颠覆世界就不远了”。

“如果能够做到这一点,其意义将远远超过我们作为人类所做过的任何事情。”他接着说道。你一个念头就可以让计算机按照你的要求做事,只需要想一想就能操纵一大群无人机。

潜在的影响将是巨大甚至恐怖的。“这将远远超过人类用技术对社会做过的所有事情。不仅仅会改变社会,社会以及作为人类的意义都会改变。”
 
 翻译:于波
来源:The Atlantic

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多