|
点击“子弥实验室” 关注我们   大家好，我是子弥。 本文是“元宇宙”系列的第四篇。 之前我们概要了解了一下，什么是元宇宙，以及它的前世今生， 今天我们来看看元宇宙的硬件发展和现状。   科技树 当下，舆论普遍认为元宇宙将是以立体画面呈现的下一代互联网。 下图简单描述了信息网络的发展历程：  信息网络的发展历程 谁来取代手机成为下一代互联网的信息载体？虚拟现实（VR）和增强现实（AR）设备，被业界寄予厚望。 VR/AR头盔已经突破了工程化的瓶颈，进入了大规模普及阶段。只是当下，暂时还缺乏刚性需求，比如，吸引主流用户的内容。 近两年，随着多种技术的突飞猛进，如更精准的传感器，更长的电池续航，更复杂多样的感官模拟，更精细的屏幕，更清晰的摄像头等，产品的客户体验快速提升。 正如上一篇文章所提，在2018年，人们普遍还认为VR头盔需要线缆传输巨量信息，而当下，才短短三年，主流VR/AR头盔已经是无线的了。 近期，我们还会看到更多的新一代智能穿戴设备问世，如可以做贴心AI小助手的智能耳机、与计算中心互动的脑电头环和肌电臂环等。所有这些硬件都增强并拓展了用户的沉浸感。  来自于中国信通院的科技树，已重绘 如今，国内在元宇宙硬件设备研发领域，并不落后于国外第一阵营。科研院所也积极助力产业。如广纳院的纳米光栅波导AR镜片和超薄VR短焦光学模组都已经具备商业化的条件。 在不久的将来，沉重的显示头盔将会被淘汰，人们通过一副轻便的眼镜就可以进入到元宇宙中。  轻薄型VR眼镜——苹果概念产品 在沉浸式交互方面，Thermal Touch技术和SLAM手势系统已经可以实现在足够小的设备上完成精准的触控操作。 现在的手柄也可以提供更完美的震感反馈，可弯曲纳米感应已经实现了全息3D触觉反馈，甚至模拟温度变化和复杂的气味都已经成为了现实。 有人说，就算硬件突破了瓶颈，可3D建模是一个专业、昂贵的麻烦事。也许几年前的确如此，可是当下，便捷的3D模型生成工具和易于上手的3D编辑器如雨后春笋般涌现。这些技术正是元宇宙宏大篇章的序曲。  精准的面部捕捉技术 当下较新的手机机型已经可以通过红外传感器跟踪脸部超过三万个点，这可以用于实时捕捉脸部动作，并应用到虚拟的形象上。通过面部捕捉技术，人们轻松的就可以获得一个自己的“虚拟分身”。 苹果的物体捕捉功能在几分钟内就可以为某个物品创建一个高保真的立体虚拟形象。然后将这些模型导入虚拟环境中。 通过MR眼镜还可以将虚拟景象叠加到真实环境中，形成炫酷的艺术感或强烈的增强现实体验。  围绕椅子拍摄，即可生成一个椅子的三维模型 当然，对于应用于工业和商业的数字孪生来讲，表面功夫是远远不够的，结构化的3D数据处理才是核心。近两年，通过设备扫描环境，形成数据点云，并识别和提取物品模型的技术，已经逐渐成熟。而且，城市级别的超大规模三维重建也逐步进入应用阶段。 下面再和大家分享另一个典型案例：谷歌的Starline项目。  谷歌Starline演示 谷歌的Starline就像是一个魔力盒子，它最神奇之处在于：我们在和虚拟形象面对面交流时，不需要头戴麻烦的显示头盔。 Startline由十几个深度传感器和摄像头提供图像支持；由复杂的灯光设计提供多维光场显示；由高保真的音频录放设备提供模拟空间感的音源；先进的算法对空间数据进行压缩和传输，以确保实现实时通讯与信息再现。缺少了任何一个环节，就无法做到让每一个细节都“看起来很真实”。  从Kinect到HoloLens Kinect是2010年微软为其游戏主机Xbox 360推出的操控外设。 微软曾经的爆款产品：Kinect 利用了深度感应的摄像头，内置了各种体感功能，包括：深度识别、骨架追踪、语音识别。它可以把用户的手势、姿态、说话转为指令和信息输入。而同时期的WII和PS，都需要用户手持一个控制器，才能实现姿态输入。Kinect的部分技术来源于PrimeSense。 PrimeSense logo 2005年，艾维亚德·梅泽尔斯受忍者神龟动画的启发，开创了PrimeSense，聚焦研究人体动作识别。 2006年，他带着初步的成果，参加了E3大会。微软硬件孵化部门负责人埃利克斯·基普曼体验PrimeSense，对该技术高度认可。随后PrimeSense成为了微软的合作伙伴。 Kinect对骨骼轨迹进行识别 Kinect摒弃了追踪控制器移动轨迹的传统技术，转而追踪身体骨架的运动轨迹，识别出身体动作中包含的信息。 Kinect最初在内部代号为Natal（基普曼的巴西故乡），但谁也没有预计到，未来几年，它将成长成为微软的旗舰产品。 在Kinect发布60天内，便卖出了800万部，成为当时销售速度最快的消费级设备。 对微软来说，Kinect不止是一个游戏设备，而是一款内置了机器学习技术的消费级产品，将微软带入了通向未来的技术领域。 2017年微软停售了Kinect，然而其中大量的技术在基普曼负责的另一个项目中复生。这个项目就是Project Baraboo。2015年，该项目发布了第一款成果：“HoloLens”。 HoloLens有4个环境感知摄像头、1个深度摄像头、1个视频摄像头，和Kinect上的深度感知一脉相承。HoloLens的显示头盔通过对近眼显示画面的景深进行调整，让用户能够看到浮在空中的三维画面，而Air Tap手势识别通过定义多手势命令，支持用户在空中对画面进行触控。这种科幻电影中常见的场景，成为了现实。 空中触控 2019年，微软推出HoloLens 2，其操控性已经足够应用于制造、建筑、医疗、汽车、军事等商用场景。 利用HoloLens 2 进行工程操作，图片来自Pingwest 2021年，微软的军用版本HoloLense 2赢得了军方约219亿美元的订单。 军用Holo Lens｜CNBC 美国大兵将佩戴微软HoloLens 2实时获得战场动态，如地图、全息图像，方位等各类情报信息。 军用Holo Lens｜CNBC 军用版HoloLens 2拥有热成像摄像头。可以为士兵显示出隐藏在黑暗中的人，并能在视野中显示武器的瞄准点。 通过MR混合显示查看夜幕下的人 当然，日常训练也是HoloLens的重要用途，它可以模拟各种战场环境，而且支持多人互动。节省了大量的实地演习和训练费用。 军队MR模拟训练系统 被忽略的领域：耳机 人类对外部信息的获取中，视觉占比超过80%，作为元宇宙的输入输出设备，显示头盔或眼镜自然会成为大家关注的焦点。 然而我们都忽略了极可能独立发展的另一个感官硬件体系——耳机。 作为第二感官，听觉总是被人忽视。一个有趣的事实是，视觉获得的一般是直接信息，而人类更细腻的情感，往往是通过听觉传递的：轻柔的悄悄话，严厉的呵斥声……所以，从元宇宙必需的音频输入，到去噪获得沉浸式体验等刚性需求来看，耳机是未来智能穿戴设备中，不可去除的组件。 同时，眼镜的固定方式并不一定必然贴近肌肤。而耳机是天然贴近身体肌肤的一种电子设备。它不但可以为元宇宙提供完美的声场，还可以集成需要紧贴肌肤的心电检测、脑电检测和肌电检测设备。 眼镜包含了从视觉输入，到眼前显示，身前身后捕捉（包含手势识别）等主要的功能，但耳机有天然优势提供可以涵盖更大扫描面积的身侧检测。 用户与元宇宙中的AI虚拟人进行沟通的时候，不需要一直看着这个AI小助手。这些虚拟人只需要听我们的指令，然后贴心的打理好生活中的各类琐事，轻声的用耳机通知结果即可。 耳机会成为一个独立于眼镜之外的智能硬件体系 耳机是可以在眼镜体系之外，独立发展成另一种智能化体系的硬件，甚至有机会构建独立的计算中心。 也许，耳机用于充电的电池仓，就可以设计成一个计算中心。这样，眼镜甚至有可能成为耳机的外设。抱歉，我说错了，不是“也许”，而是现实。国内的科研团队已经完成了智能耳机助手的开发。 JOYPODS 集成了计算中心的智能耳机助手 未来展望：脑机接口 遥望更远的未来，谁会是人机交互的终极技术呢？答案中位列榜首的一定是——脑机接口。虽然脑机接口技术距离成熟还需要较长的时间，但因“科技狂人”埃隆马斯克的加入，并公布了其脑机接口项目的惊人进度。“何时可以通过脑机接口接入元宇宙”这个话题，引发了业界的热议。 埃隆马斯克的脑机接口项目Neuralink 虽然接入元宇宙尚需时日，但目前的脑机技术是有具体的应用案例的，比如Miguel Nicolelis非营利组织与Walk Again合作，开发脑机接口的实用技术，2014年巴西足球世界杯，29岁全身瘫痪的Juliano Pinto利用由大脑控制的设备，将脑波转化为可控的操作，为FIFA开球。 2014年巴西足球世界杯 Miguel Nicolelis提供了一套脑脑连接，或多脑连接为网络的体系 除了脑机接口之外，还有另一种技术路线，被称为光遗传学Optogenetics，由MIT的Ed Boyden和Stanford的Karl Deisseroth，利用海藻中提取的蛋白，将神经元变成光敏元件，可以控制单个或成组的神经元。 或磁遗传学Magnetogenetics，与光遗传学一样，使用磁信号对大脑的神经元进行神经信号读取和写入。 有了这些输入输出方法，使得建立一种大脑协处理器成为可能。 协处理器这个概念来源于计算机，通常计算机使用一颗主芯片CPU完成计算，普通的个人计算机主要是应用于日常图文处理，使用运算能力一般的CPU就可以了，但在处理CAD或者数据密集计算，比如图形渲染的时候，通常采用一颗浮点运算处理器来辅助计算，这个芯片简称FPU，通常被叫做协处理器。通常，在CPU和FPU之间有一个插槽进行通讯。 协处理器是一种工业方法，普通用户不需要这个功能，而专业用户又能享有随时加载协处理器的灵活性。 Greg Gage，TED 2015，如何用自己的大脑控制别人的手 上图中，通过电极检测左边女测试者的大脑信号，并将神经信号传递给右边男测试，使他们的手自动做同样的动作。 虽然目前还没有看到对已破解神经信号进行编程的技术演示，但这个设备与人之间关系的简单示例，有利于科学家对信号进行建模和模拟，加速发展出更实用的技术。 如果我们把目前的手机（外部设备）和大脑之间的关系定义为弱联系，那么上文所提到的方法，就是更为紧密的联系，它带来的可能是处理器级的连接。 也许我们人类也只是 —— 一台氨基酸和碳水化合物组成的电脑。 （未完待续） 子弥实验室是广东粤港澳大湾区国家纳米科技创新研究院的下属一级单位。由中科院院长白春礼于2020年11月21日在黄埔揭牌成立，中科院院士赵宇亮任实验室主任。 “子弥”一词来源于传统佛教宇宙哲学——“芥子须弥”，意思是微小的芥子中能容纳巨大的须弥山。子弥实验室“小”中“生”大“，思考、设计、产生人类没有的技术和产品，成为改变人类思维模式、改变人类科技进程、改变人类工作模式、改变人类生活方式的发源地。 子弥实验室致力于研究面向未来的关键共性技术，希望寻找对科技充满痴迷，思想未被格式化的人、行为未被同步化的人、认知未被标准化的人、情怀未被世俗化的人，共同用思想创造人类没有的技术和产品。 email：tony@cannano.cn |
|
|
