《元宇宙：概念、技术与生态》知识点总结3

本篇是《元宇宙：概念、技术与生态》第三章的总结，没有读过前两篇的读者可以先跳转过去看一下：

《元宇宙：概念、技术与生态》读书笔记1

《元宇宙：概念、技术与生态》知识点总结2

第三篇总结详见下文：

第三章介绍的是沉浸式交互技术，包括：虚拟现实、增强现实、混合现实，扩展现实等几种。

虚拟现实即Virtual Reality(VR)通过对现实的虚拟，给用户提供沉浸式的体验。属于拟像理论仿造阶段。目前大部分VR眼镜使用的就是VR技术。

增强现实即Augmented Reality（AR)通过在现实世界叠加一层虚拟层，实现对现实世界体验的强化。目前大部分AR眼镜使用的是该技术。

混合现实即Mi-xed Reality（MR)是VR和AR的混合体，能够创造出可交互的虚拟物体。属于拟像理论的生产阶段。

扩展现实即eXtended Reality（XR)是VR、AR和MR技术的混合体，可在现实世界创造出以假乱真的可交互的虚拟世界。属于拟像理论的仿真阶段。

虚拟现实（VR）

虚拟现实(VR)技术主要涉及计算机、电子信息、仿真技术。VR通过设备隔绝了所有现实世界的画面，创造出一个完整的虚拟环境。

VR是元宇宙的1.0时代，类似于以台式电脑为主要入口的互联网1.0时代。使用时间及空间均受到限制。利用台式电脑或者手机的VR设备拥有更好的性能，能够运行更加复制的虚拟程序。特别是游戏，在利用了外接设备之后，性能可以大大提升。

增强现实(AR)

增强现实(AR)技术通过在现实世界中叠加图像和使用全息图像，将虚拟物体与现实世界相结合。

AR是元宇宙的2.0时代，类似于以手机为主要入口的互联网2.0时代。目前的AR技术相对不是很成熟，离商业应用还有大概3~5年的时间，这个周期会比互联网进入到移动互联网的周期更短。AR设备为入口的元宇宙时代，用户可以随时随地进入元宇宙。

混合现实(MR)

混合现实(MR)是指真实和虚拟世界融合后产生的新的可视化环境，在该环境下真实实体和数据实体共存，同时能实时交互。

MR是元宇宙的3.0时代，类似于融入了物联网的互联网3.0时代。当然还需要有强大的边缘计算和高速的网络技术作为支撑。在以MR设备为入口的元宇宙时代，线上与线下边界被进一步打通。

扩展现实(XR)

扩展现实(XR)是指通过计算机将真实与虚拟相结合，打造一个可以人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称。

沉浸式交互的支撑技术

沉浸式交互技术的支撑技术主要包括：图像显示原理、数据可视化和计算机图形学，以及其他技术。

图像显示原理依靠头戴式设备，其核心是头戴式设备屏幕，包含两大基本元素:光学(optics)和图像显示(image display)。

数据可视化(data visualization)就是将抽象的数据转化为人类更容易感知的图形及图像的过程。

计算机图形学的主要研究内容就是如何在计算机中表示图形以及如何利用计算机进行图形的计算、处理和显示的相关原理与算法。

如实现高同步的通信技术解决大量用户同时在线问题的云计算技术，以及用于图像渲染的GPU和作为虚拟世界基础架构的算法等。

图像显示原理之光学

人的两只眼睛都能看到的图像的总角度称作视场 (Field of View，FoV)，人类的水平双目视场为200度，双目重叠占到了120度。双目重叠对立体视觉的建立非常重要。与水平视场不同，垂直视场约为130度。

瞳孔间距 (Inter-Pupillary Distance，IPD)就是瞳孔之间的距离，与种族、性别、年龄有关。不合适的IPD可能会使得晶状体产生畸变，或导致眼睛疲劳和头痛。儿童的最小IPD大约是40毫米，而成人IPD的平均值约为63毫米。人类的每只眼睛通过合并两个独立的视角来获得景深以及浸入式的感觉，但需要大脑为图像成形消耗大量的计算能力。

光学设计系统分为两种结构（或者说是AR/VR的基础架构），分别为直视型结构（pupil forming，PF）以及非直视型结构（non-pupil forming，NPF），这两个结构的观察效果如左图所示。单独的镜片通过组合形成了NPF，经过设计，通过放大镜直接投射到显示屏上。在进行光的渲染时，会有一个明显的缺点：枕形失真（pincushion distortion，PD）。而在PF下，单个镜片产生PD后，第二个镜片会产生桶形失真（barrel distortion，BD），从而抵消了第一个镜头产生的畸变，最后得到一个更为真实和清晰的图像。这种设计被广泛应用在那些并不需要高度沉浸感的设备中，比如Hololens和Google Glass。

光波导是一种引导光波传播的介质器件，也称为介质光波导。它通过光的全反射原理，实现光在光路中的低损耗传输。光波导应用占用空间小，有利于AR眼镜的薄型化，但由于其制作复杂，成本高，并且不同颜色的光的折射率不同会产生彩虹效果，因此光学设计难度大。

波导是一种物理光学结构设计，可以使光线曲折进入人的眼睛，被用于内部的反射以及光线进出的控制。工业上有四种波导结构设计，分别 是 全 息 波 导( holographic waveguide）、衍射波导（diffractive waveguide）、偏振波导（polarized waveguide）与反射波导（reflective waveguide）。全息波导是光学元件中一种相当简单的波导类型，例如用于通过一系列内部反射进行耦合和外耦合。

目前的显示技术分为：全沉浸式、光学透视型、视频透视型三种。全沉浸式显示器与传感器结合在一起，完全挡住了用户视野。在“光学透视眼镜”中，用户可以直接通过光学元件查看现实。Hololens和Google Project Glass是最近通过智能眼镜进行光学透视的例子。借助视频透视型智能眼镜，用户可以观看由摄像头捕获的图像，将这些相机视图与计算机生成的图像结合起来，可提升用户观感。

图像显示技术发展非常迅猛，目前有四大显示技术：液晶显示器 (LCD) 、发光二极管(OLED)、数字光处理 (DLP)与LCoS，而LCoS又称为LCD与CMOS集成电路有机结合的反射型新型显示技术。

LCD在高清电视中很常见，它由包含液晶分子的单元阵列组成，该单元夹在两个偏振片之间。这种装置安置于数百万个晶体管的薄玻璃基板之间。单个RGB液晶单元称为子像素，三个子像素形成一个像素。对于彩色LCD，将包含红色、绿色和蓝色滤光片的附加基板，放置在该基板的每个单元上方。

图像显示原理之图像显示

图像显示技术包括：液晶显示器（LCD）、发光二极管(OLED)、数字光处理(DLP)与LCoS，而LCoS又称为LCD与CMOS集成电路有机结合的反射型新型显示技术。

液晶显示器（LCD）技术的原理是电流流过玻璃材料，改变电流可以使LCD调节光的通过以产生精确的颜色。如果所有子像素都完全打开，则会产生白光。由于液晶单元本身不发光，因此需要通过背光来实现。液晶单元只能改变光的通过以产生所需的颜色并随后产生图像。

相比于LCD，OLED由于不需要外部背光，因此结构相对简单，可以做得非常薄。不仅如此，设备功耗大大降低，屏幕图像刷新速度更快，具有更高的对比度和更加出色的色彩还原，分辨率更高。大多数完全浸入式头戴式显示器都使用此技术。

DLP微型显示器是现有最快的显示技术之一。超快的颜色刷新速度、低延迟、低功耗和极高的分辨率使其成为构建头戴式显示器的不二选择。

LCoS介于LCD和DLP显示器之间。不同于LCD的透射技术，DLP是一种反射技术，其中各个子像素通过微镜反射。光源通过反射表面时会通过一系列子滤镜来调制光强度和颜色。与DLP显示器类似，由于其小尺寸，在与小型设备集成时具有相当大的灵活性。Magic LeapOne就使用了此技术。目前正在开发的显示技术要求极高的分辨率，平板的头戴式显示器可能已成为AR设备的历史。

数据可视化

数据可视化主要包括3个分支：科学可视化、信息可视化及可视分析。

科学可视化主要利用计算机图形学将数学方程等文字信息转换成客观的视觉图像，从而有助于观看者快速了解状况，更好、更快速地做出有效的判断。

信息可视化主要用于研究大规模非数值型信息资源的视觉呈现，即将数据信息和知识转化为一种视觉形式。信息可视化处理的对象是非结构化、非几何的抽象数据，如金融交易、社交网络和文本数据，其核心挑战是大尺度高维复杂数据如何减少视觉混淆对信息的干扰。

可视分析被定义为以可视交互界面为基础的分析推理科学，它将图形学、数据挖掘、人机交互等技术融合在一起，形成人脑智能和机器智能优势互补与相互提升。

计算机图形学

计算机图形学包括：建模、渲染、动画、人机交互等4个部分。

建模

在虚拟世界中，几何建模可以反映出一个虚拟对象的静态特性。几何建模的范围很广，这里介绍几何建模中的几个概念：

• 三角形集合：用三角形的集合作为对几何体的表达。

• 网格重建：生成网格去处理由三维扫描仪获得的离散顶点的三维坐标。

• 平滑：通过增加顶点，使得三角网格看起来更平滑。

• 细分：渲染出平滑表面，另外可以使网格显示出一个层次的结构。

渲染

建模和渲染是提升元宇宙中沉浸感与真实感的两个技术核心，目前基于GPU的图像成像就是结合几何建模和渲染，首先需要使用几何建模技术对顶点数据进行几何处理，然后使用光栅图形学技术对几何处理后的数据进行光栅化最后导出图像。建模与渲染是具有连贯性的，这也是使图像成像的基本步骤。

动画

动画是使用连续播放静止图像的方法产生物体运动的效果的技术，主要包括人体动画、关节动画、物理仿真、运动动画、脚本动画等还可以进行环境渲染。在元宇宙中，三维动画极大地满足了消费者对于虚拟世界的想象。

人机交互

人机交互Human-ComputerInteraction，HCI) 是图形学中很关键的一门技术，在数据可视化领域也常用到。它主要是指人与计算机之间通过有效的交互方式传递任务和信息的技术。目前主流的交互界面是以WIMP (窗口、图符、菜单、鼠标)为基础的图形用户界面(GUI)，而近年来语言、三维交互技术、姿势输入、头部跟踪、视觉跟踪.立体显示、感觉反馈及自然语言界面等新的交互想法和领域也在不断产生。

其他支撑技术

沉浸式交互技术的其他支撑技术主要包括：5G、元计算、算力和算法。

沉浸式交互技术要求高同步、低延迟。其中5G是实现高同步和低延迟的核心技术。

元宇宙需要实时监控数据和进行大量计算，使用户可以使用任意设备登录，并随时随地沉浸其中。

对于虚拟世界的模拟来说，GPU是主要的计算能力基础硬件，要想获得逼真的虚拟体验GPU的算力是必不可少的。

引擎通过算法定义了虚拟世界中的基本规则和呈现方式。这些规则包括“光影效果”“动画系统“物理系统”等。

沉浸式交互技术的应用之数字孪生

在数字孪生中，会先将物理对象转化为数据，再将数据和原理建模，然后由模型中的机理模型和数据驱动模型实现自我学习与动态调整，最后将模型载入软件中，软件将实现对物理对象的描述、诊断、预测、决策等功能。

数字孪生可以复制现实世界的物理元素，其最终产品是作为现实世界镜像的“克隆宇宙”元宇宙则是根据现实或幻觉(如超现实、科幻等)的逻辑对现实世界进行复制和修改，以开放的模式呈现“多元宇宙”。

数字孪生的特点

1、互操作性

数字孪生中的物理对象和数字空间可以双向映射、动态交互和连接。因此，数字孪生具有将物理实体映射到各种数字模型的能力，并且具有在不同数字模型之间相互转换和融合的能力。

2、实时性

因为数字孪生要去再现随着时间轴而变化的物理实体，所以需要以计算机可识别和处理的方式管理数据，即数字化。

3、可扩展性

数字孪生技术具有集成、添加和替换数字模型的能力，并且可以对模型内容进行扩展。

4、保真性

数字孪生要求虚拟物体不仅要保持对实体几何结构的高度模拟，还要在状态、相位和时态方面进行模拟，尽力保证数字虚拟模型与物理实体之间的相似度。

5、闭环性

数字孪生中的数字虚拟体用于描述物理实体的可视化模型和内部机制，从而监控物理实体的状态数据，进行分析推理，优化工艺参数和运行参数，并实现决策功能，即对虚拟体和物理实体使用一个闭环系统。

数字孪生的应用场景

1、数字化设计

通过数字孪生技术打造产品设计的数字孪生体，在虚拟空间中进行系统仿真，实现反馈设计、迭代创新和持续优化。目前，在汽车、船舶、航空航天、精密装备制造等领域，样机设计、工艺设计、工程设计、数字样机等形式的数字化设计实践已经普遍开展。

2、虚拟工厂

虚拟工厂是指基于数字孪生技术与MES的结合，在虚拟空间中构建的数字虚拟车间和数字工厂，可实现物理实体与数字虚拟实体的动态数据交互，根据虚拟空间的变化实时对生产进行预测。

3、设备维护

开发、设计设备数字孪生体并与物理实体同步交互，实现设备生命周期的数字化管理。

4、智慧城市

构建城市的数字孪生体，以定量和定性相结合的形式，在数字世界中模拟天气环境、基础设施、人口、土地、工业交通等要素的交互运行，绘制“城市肖像”，帮助决策在物理世界完善城市规划。

5、智慧医疗

数字孪生与医疗服务相结合，实现对人体运行机理和医疗设备的动态监测、仿真和模拟，加速科研创新向临床转化，提高医疗诊断效率，优化对医疗设备质量的控制和监督。

沉浸式交互技术的其他应用

交互式技术的其他应用主要有：全息投影沙盘、沉浸式互动体验室、全息透明屏以及全息直播。

全息投影沙盘

全息投影沙盘常见的有便携式全息沙盘和全息互动桌。

便携式全息沙盘可以实现桌面浮动3D沙盘形象，支持空中手势交互操作、多种三维格式文件导入编辑等。用户可以真正触摸到天空中的3D虚拟影像，它比其他传统全息产品有更强的“真实”体验感，并且支持外接显示屏。用户仅需佩戴轻便的全息3D眼镜，即可同步投屏桌面影像内容。

全息互动桌采用4K高清投影，投影设备常常安装在天花板上。它从上到下投影3D图像不会挡住后方，并可搭配大屏幕，同时投影与互动，精确显示不同位置的三维视角影像。其他功能与便携式全息沙盘相同，该设备更适合在固定场地应用。

沉浸式互动体验室

包括全息幕、2D互动投影体验室和3D全息投影体验室。

全息幕利用墙体3D投影和空间跟踪定位技术，用户可以戴着全息3D眼镜在空间中自由移动，观看从不同位置和角度跳出墙体的3D影像，结合手势、手柄等交互功能进行虚拟互动体验。

2D互动投影体验室通过捕捉设备对目标影像进行捕捉拍摄，然后由影像分析系统分析，从而生成被捕捉物体的动作，这些动作数据结合实时影像互动系统，使参与者与屏幕之间产生紧密结合的互动效果。

3D全息投影体验室采用的全息投影技术是利用千涉、衍射等原理记录并再现物体真实的三维图像的虚拟成像技术:利用干涉原理记录物体的光波信息，再利用衍射原理再现物体的光波信息，从而得到与原物几乎完全相同的立体影像。

全息透明屏

全息透明屏实现了空中裸眼3D影像播放，营造了虚实结合的显示环境，并可添加手势、语音、触摸屏等多种虚拟交互功能，提升显示和交互体验。

全息直播

全息直播是直播的一种新方式和发展方向。通过全息投影技术，观众可以看到清晰、立体逼真的直播画面，感受“身临其境”的直播互动体验。

以上是作者对本书第三章的总结，欢迎读者与我探讨及交流。

/////////
阅读送书活动开始啦~~~

智玩元宇宙的粉丝朋友们，为了答谢大家的关注和支持，凡是阅读本文并留言的粉丝将有机会获得

《元宇宙：图说元宇宙、设计元宇宙（全两册）》图书1本

活动规则：

阅读量每到1000即送1本书，10本书封顶！

【作者简介】

【2140】

以内容为基石的元宇宙项目；一个“去中心化治理”的价值共享平台；一个开源创造的超级原创科幻IP；一个拥有百万用户的创世社区；致力于创造第二数字人生的实验基地；最终构建一个元宇宙的“根世界”。

罗金海，全国十大科普教育平台《量子学派》总裁，2140·元宇宙发起人，文津图书奖《公式之美》作者。

陈育智，2140·元宇宙联合发起人，《2140》科幻系列内容总监。

蔡志春，2140·元宇宙科学设定总监，《量子学派》内容副主编。

杨雪吟，《2140》科幻系列创作团队编辑。

【子弥实验室】

广东粤港澳大湾区国家纳米科技创新研究院与广州高新区管理委员会联合打造的纳米科技、人工智能、生命科学交叉融合世界级实验室；在元宇宙领域有深厚技术积累，下一代超薄VR显示、MR光波导、人工智能助理、脑机接口等技术处于国际领先水平；聚合全球既脚踏实地又仰望星空、既科学严谨又想创造未来的年青一代，从“芥子须弥”跃迁至“无尽前沿”。

子弥实验室主任赵宇亮，中国科学院院士，国家纳米科学中心主任。

子弥实验室执行副主任：胡显刚。

子弥未来基金合伙人：薛传艺。

子弥实验室科普负责人：李优。

智玩元宇宙官网http://www.pmeta.fun(复制到浏览器打开)

更多推荐

【腾讯】AIGC发展趋势报告2023-69页

【上奇研究院】元宇宙国家级小巨人画像-20页

【中信证券】前瞻研究行业前沿探索系列-3D引擎：下一代互联网的“CAD”-36页