分享

谈增强现实和虚拟现实技术在课堂教学中的应用 参考论文

 新用户65147843 2020-10-30

随着计算机硬件和软件技术的不断发展,许多当年受限于各种技术问题而无法普及的科技产品也涅槃重生并逐渐流行起来。其中就包括最近以游戏Pokemon Go红遍全球的增强现实技术(AR)以及将2016年定义为元年的虚拟现实技术(VR)。

历史发展

其实上述两种技术早在上世纪就崭露头角了。以虚拟现实技术产品为例,已知的世界上的第一台虚拟现实产品诞生于1956年,是摄影师Morton Heilig发明的设备Sensorama(如图1),这是一款集成体感装置的3D互动终端,它集3D显示器、立体声音箱、气味发生器以及振动座椅于一身,用户坐在上面能够体验到6部炫酷的短片,内容包括《萨宾娜的日期》《我是一个可乐瓶》等,这一领先当代科技的设备带来了新潮的体验。当然,它看上去巨大而且笨重,更像是一台医疗设备,同时也不是所有人都有勇气享受这种刺激的,因此很快它就销声匿迹,淡出了人们的视线。

后期的虚拟现实设备又经过了多次改进,1984年,Jaron Lanier公司推出了世界上第一款商业虚拟现实设备——RB2(如图2)。这款30多年前的设备不仅与现在主流的虚拟现实设备的外观相近,甚至还配有体感追踪手套,可以实现一定的交互操作。

2009年,得到众筹资金的Oculus Rift项目重启了当今虚拟现实项目的研发,尤其是在2014年该项目被Facebook以20亿美金收购后其软硬件开发的速度也越来越快,终于在2016年初将产品正式投入市场。同年,HTC Vive、PS VR等重磅设备纷纷发售,由此衍生的各种应用铺天盖地而来,关于虚拟现实的新闻一时间充斥着各大媒体,让人真切地感受到VR真的来到了我们身边!

由只能看视频的冰箱大小的设备到能够戴在头上进行各种互动的头盔,虚拟现实技术的发展不是一朝一夕完成的,而是几代人共同智慧的结晶。

增强现实技术同样也是科技逐步发展的结果,这一技术于1990年被提出,1998年第一次应用于实时直播(Sportvision开发的1st&Ten系统)。而1999年ARToolKit开源增强现实开发工具的出现(奈良先端科学技术学院的加藤弘开发)使得增强现实技术开始广泛应用。其最初的应用还是局限于广播电视行业,如各大电视台引进的虚拟演播室系统,各电视台的气象播报节目等,往往是将虚拟的环境与真实主持人进行场景融合。2013年央视春节联欢晚会的舞台则将这种应用方式发挥到了极致。

技术关联

从原理上讲,虚拟现实技术是利用先进的软硬件技术,用虚假的信息欺骗使用者的视觉、听觉、运动甚至触觉、嗅觉等感知,使人产生身临其境感觉的技术。增强现实技术则是在可确定的真实环境中叠加计算机生成的虚拟信息,从而混淆观众感知的技术。

我们可以发现,这两种科技有一定的关联性:有人认为虚拟现实技术是增强现实技术的极致,因为它将所有的真实环境全部叠加、替换成了虚拟信息(如图3);还有些人认为增强现实技术是虚拟现实技术的分支,因其在虚拟环境中混入了部分真实信息(如图4)。

无论认同哪种观点,不可否认的是,虚拟现实技术与增强现实技术二者之间具有较多共通性,我们可以通过它们的技术特征(如表1)来继续确认这点。

如果将虚拟定义为“假”,将现实定义为“真”,我们可将虚拟现实理解为“以假乱真”,将增强现实理解为“真假难辨”。

应用前景

“读万卷书,行万里路”是古人对知识获取和应用的概括,意思就是以阅读增长才识,以体会增长见识,学以致用。在当今的课堂教学中,教师通过使用多媒体技术,将视频、图像、交互性课件等资源展示给学生,使学生对知识产生更深刻的理解,在课堂上就能够增长见识。虚拟现实和增强现实技术的出现,能更深入课堂教学,带给学生更加“真实”的体验。课堂教学中有了这两种技术的支持,不仅能够“行万里路”,甚至可以跨越时间与空间,体验过去与未来,置身于微观世界、宇宙洪荒。

让我们想象一下:在一堂关于问路的英语口语练习课上,当学生戴上设备,进入真正的纽约街头,并在熙熙攘攘的异国环境中真正地体验一次问路过程的时候,这一切对学生尤其是对偏远地区的学生来说,将会是一次多么难忘的经历(虚拟现实技术)。又如,语文课上,当老师带领学生朗读《鸟的天堂》时,教室中间生长出一棵榕树,并在短短的时间独木成林,学生们坐在树林中亲眼看到地板变成水面,屋顶化为天空,还有遮天蔽日的千万只鸟在身边飞舞……置身于鸟的天堂,又有哪位学生体会不到巴金先生当年的感受呢(增强现实技术)?

硬件配备

就在课堂上实现虚拟现实和增强现实技术教学而言,我们首先需要考虑的是硬件设备的使用。当前这两种技术都处于起步阶段,各种硬件设备的规格也参差不齐,表2是笔者整理的可用于课堂教学的部分硬件设备列表。

表格中的入门级代表实现这一技术应用的基础硬件标准,同时也是最容易在课堂普及的设备。标准级别是增强了体验的常见设备,具有一般的性能和臨场体验感。高端设备都是基于谷歌公司新技术标准的设备,具有更多的功能和互动性。其中Tango技术原先被称为Project Tango,是包含了能够实现即时定位与地图构建技术(SLAM)的软硬件技术。Daydream则是为集成了虚拟现实的Android N系统打造的软硬件标准。顶尖级别是当今最顶级的民用技术产品,拥有最多的功能、强大的互动和最佳的体验,其中VR系列产品无一例外地采用了头戴显示器与高性能主机通过线缆连接的方式,一方面解决了拥有强大运算能力的主机与头盔轻量化之间的平衡,但另一方面高效率低延迟的无线连接技术还不成熟导致了线缆的存在,而延迟则是影响使用者体验的重大因素,超过20毫秒的延迟不仅会导致体验变差,还会让使用者产生头晕等不适症状。顶尖的AR设备则是微软产品HoloLens一家独大,相比谷歌眼镜项目的退出和Magic Leap那过于科幻的产品难产,HoloLens已经推出了产品商用套装并将所有的功能集成到了售价5000美金的头盔中(其开发者版本售价为3000美金)。至于理想级别的设备,是笔者针对顶尖级别产品缺陷而臆想的完美配置,其中部分内容受限于当前科技水平还未实现,如无介质全息投影技术。

无论如何,精简指令集的出现和纳米工艺的提升已经将奔腾级别的运算效能浓缩到了手机大小的设备上。未来VR设备的发展趋势应当是使用越来越轻的便携设备去欣赏越来越真实的虚拟世界;AR设备则会向无需携带设备就能看到全息画面的立体投影方向发展。

软件开发

21世纪是信息化的时代,也是信息科技急速发展的时代。作为走在时代前沿的信息技术教学,不仅要让学生掌握教材中的知识和技能,还要让学生了解最新的信息技术动态,扩大知识层面,并在实践探究中发展创造性思维。

2015年初,笔者在一堂城乡交流课上首次应用了增强现实技术并取得了很好的课堂效果(所使用课件荣获第十三届NOC活动数字化学习工具评优赛项的恩欧希教育信息化发明创新奖)。当时考虑到农村地区的硬件设备不发达,从而采用了入门级别的设备解决方案,其优缺点都同样明显:采用台式机加USB攝像头的硬件组合使得增强现实技术可在低配置电脑上使用,避免了新技术受限于设备无法使用的尴尬局面;但同时它带来的开发技术壁垒也使得教师必须具有相应的专业技术才能完成课件的制作。以笔者为例,那时无论是增强现实技术还是虚拟现实技术其开发都处于起步阶段,所有的技术文档和资料都没有中文版本,再加上自己尚没有Windows平台开发经验,也没有C++编程基础,所以前期大约有一个月的时间都是在自学、摸索,抱着词典翻译和消化研究,之后在制作动画、三维模型、软件开发、程序排错等方面又耗费了一个多月的时间才最终完成(如上页图5)。

有了这次的开发经验,再加上自己不断地研究和国际国内开发环境的改善,2016年初,笔者同时应用增强现实和虚拟现实技术,结合电子书包做了一次新的课堂尝试(所使用课件荣获第十四届NOC活动数字化学习工具评优赛项的恩欧希教育信息化发明创新奖)。国际、国内的开发环境改善是指在这一年中,国内开始涌现出一批增强现实技术开发团队,如太虚、视辰、亮风台等,国外的Wikitude、Vuforia等也在技术上有了长足的进步,增添了更多功能。虚拟现实方面,Unreal、Unity、CRYENGINE等游戏引擎也纷纷宣布原生支持VR技术应用的开发。笔者此次所用的开发平台从Visual C++转换为Unity+C#,应用平台也从Windows转到了Android系统。并在AR应用中增添了扫描课本播放视频(如图6)、触摸按钮改变三维模型纹理等交互(如图7),既简化了学生的操作,又提高了趣味性。再加上漫游环节中虚拟现实技术的使用(如图8),使课堂气氛达到了高潮。得益于三维引擎的强大功能,它在增添了粒子、大气等大量新特性的同时又大大降低了制作难度,其硬件体验级别也由2015年的入门级上升到了标准级。

现阶段比较尴尬的情况是,从高端级别的体验开始,技术对硬件设备的要求越来越高。到时2016年末为止,符合Daydream标准的智能设备只有谷歌Pixel以及华为Mate9、ZTE Axon7等几款,包含Tango技术的手机目前更是只有联想Phab 2 Pro一款。因其设备的特殊性(新的硬件或者技术规范),无意中增添了课件开发的成本。好在谷歌免费提供了Google VR SDK的GitHub下载,为应用开发提供了很多便利,并有简单的实例代码可供研究。同时,谷歌应用商店内置了丰富的VR/AR应用,老师们可以在课堂上依据授课内容使用(如上页图9)。

顶尖设备目前还比较小众,设备拥有量很少,同时设备中采用了大量特殊硬件,如深度摄像头、红外基站等,导致无法成为开发主流。为改善这一情况,制造商们纷纷推出了自家设备的应用开发包并宣称与主流三维引擎兼容,这些SDK我们都可在其官方网站上找到并下载。甚至微软在将HoloLens的开发功能整合到Visual Studio 2015 Update 1之余,还额外提供了HoloLens虚拟机,让没有设备的开发人员一样能够制作出顶级的增强现实应用。HTC Vive还借助Steam 平台打造了众多VR资源,微软同样致力于将HoloLens融入仍在不断升级的Windows 10中。

结束语

在1945年7月出版的《大西洋月刊》上,Vannevar Bush描绘了他的一个构想:一部可连接在普通眼镜上的头戴式照相机,可记录评论、照片以及科学实验数据。他这样写道:“想象一下未来实验室里的研究者,他的双手是自由的,他是不被束缚的……他的照相机比核桃还要小,附在普通眼镜上……这远不是普通的构想。”参考论文

Vannevar Bush预测,半个世纪之后,可能真的“世界已经到达一个设备具有超高可靠性并且便宜而又复杂的时代,这些东西一定会到来”。

现在,它真的来了,而且不仅仅是拍照摄像,甚至已经发展成了一套复杂的交互式设备,并将很快进入到我们的课堂教学中。无论是HTC的VIVE、微软的HOLOLENS还是其他设备,都会在各方面改变我们的生活和学习。这是硬件的革命,也是软件的创新,更是科技的进步!

参考文献:

[1]Jon Axworthy.The origins of virtual reality[EB/OL].http://www.wareable.com/wearable-tech/origins-of-virtual-reality-2535.

[2]杨晓光.《创新与未来》学习工具制作综述[J].中国信息技术教育,2016(2):66-70.

[3]AVA KOFMAN.The Atlantic[EB/OL].https://www.theatlantic.com/technology/archive/2015/06/dueling-realities/395126/.

参考资料;http:///index.php?c=show&id=2618

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多