混合现实.doc

1、混合现实是由真实现实和虚拟现实共同组成的。例如，真实的环境加上虚拟的物体共同组成一幅（组）画面，在这组画面中我们根本无法区别哪些是真实的，哪些是虚拟的。混合现实又分为两种情形。一种是扩展现实。上面举的例子就是属于扩展现实。另一种是扩展虚拟（Augment Virtuality）。例如，虚拟的环境加上某些真实的物体共同构成扩展虚拟。扩展现实有三个基本特征。1. 真实性：某些环境是人工创造的，因而它是虚拟的。但是在扩展现实中肯定有源于真实现实的部分。2. 非沉浸感：在显示扩展现实中的真实成份和虚拟成份时，均不要求观察者沉浸其中。3. 方位感：真实世界的物体是被感官直接观察到或者通过某些电子综合装置

2、获得的（例如，水下摄像机对不明物体的摄像）。在后一种情况下，方位感成为扩展现实迫切需要解决的问题。真实现实、扩展现实和虚拟现实三者构成了一个真实虚拟连续统，它们之间的关系可以用下图表示：混 合 现 实 真实现实 扩展现实 扩展虚拟 虚拟现实真实现实、扩展现实和虚拟现实丛杭青（ 浙江大学人文学院，浙江 杭州 310027 ）摘要：真实现实（Real Reality）、扩展现实(Augment Reality)和虚拟现实(Virtual Reality)属于同一系列的概念，它们共同组成了真实虚拟连续统（Reality-Virtuality Continuum）。它们是对客观存在的三种不同的认知形态

3、,共同构成了知识世界的范围（Extend of World Knowledge）。关键词：真实现实、扩展现实、虚拟现实、知识世界一国内外已有一些关于虚拟现实(Virtual Reality)讨论。不同的学者对虚拟现实有着不同的理解和定义。笔者认为虚拟现实是使用计算机所创造的交互式的三维空间效果，在这个三维空间中物体有一种空间存在物的含义。它具有如下几个特征：（1） 虚拟现实是使用计算机技术创造的，以区别电子存在和其它的远距离感觉方法。（2） 虚拟现实中计算机技术应用所产生的是效果而不是幻觉。（3） 交互性：人与程序的交互性。（4） 三维世界：以区别文字描述的一维、二维世界。（5） 物体有一种空

4、间存在物的含义。虚拟现实是人类利用特定的计算机语言或软件（如 OpenGL SDK，VRML ），整合一些特殊技术（如信息图形技术（Infographic Technologies）、人体运动跟踪技术（Human Movement Tracking Technology）、实时人体运动捕获技术（Real-Time Human Body Motion Capture Technologies）等）和特定的输入输出设备（如头盔显示器（Head Mounted Display)、数据手套（ DataGloves）等）开发形成的一个三维人机互动系统。在这个互动系统中,参与者不仅具有参与感，而且具有身临

5、其境的沉浸感。随着虚拟技术的理论和实践不断发展，这一系统已经达到了以假乱真的境界。虚拟现实完全是由计算机技术所创造的。在虚拟现实系统中，人与真实现实完全处于隔离状态，在虚拟现实中已不存在自然状态的物理时间和空间。人完全被虚拟现实系统所控制。虚拟原义是假，现实含义是真。因此，将这两个术语结合起来，属于典型的矛盾修饰法（oxymoron）。国外的一些学者认为这样术语不容易让人们接受，所以又将它称为“合成环境（Synthetic Environments）”、“ 赛博空间（Cyberspace）” 、“人造现实（Artificial Reality） ”、“模拟技术（Simulator Techno

6、logy）” 等。国内在引进这一术语时，有人曾认为虚拟现实易于“客观现实”这一术语相混淆，故提议译作“灵境” 。但是，“虚拟现实”这一术语还是被绝大多数人所接受的。我们在论及虚拟现实时，国内不少人将虚拟现实与“客观存在 ”和“客观现实” 相提并论。严格的说，客观存在和客观现实是哲学上的概念，与虚拟现实不属同一系列的概念。本文认为虚拟现实与真实现实和扩展现实属于同一系列概念。对它们进行考察时应该注意它们之间的相关性。真实现实有二种含义：一是作为客观存在的真实现实。它们是被人类认知了的客观存在，与人类处于交互作用之中。在此意义上，真实现实是人类赖以生存的基础。二是作为知识形态的真实现实。它们是人类

7、对于客观存在的认知结果。当我们在讨论与扩展现实和虚拟现实相对应的真实现实时，真实现实指的是一种知识形态。作为知识形态的真实现实或者是通过感官认知的方式获得的，或者是以视频窗口方式（如对实景的摄像）获得的。这两种方式中，前者是直接的，后者是间接的。我们将在本文的第二、三节中分别予以考察。客观存在是一个哲学范畴。它所表达的是不依赖于人类主观意识而独立存在事物的总和。被人类所感知的客观存在就是客观现实。这也是真实现实的第一层含义。真实现实和虚拟现实是人类对客观存在认知的两个极端形态。处于这两个极端之间的就是扩展现实（Augment Reality），扩展现实也称作为混合现实（Mixed Realit

8、y）。其实这两者还是略有区别的，我们将在下文中论及。不过扩展现实术语更能反映人类的认知能力和形态，因而更能为人们所接受，除特殊说明外，我们将在等同的意义下使用扩展现实和混合现实。混合现实是由真实现实和虚拟现实共同组成的。例如，真实的环境加上虚拟的物体共同组成一幅（组）画面，在这组画面中我们根本无法区别哪些是真实的，哪些是虚拟的。混合现实又分为两种情形。一种是扩展现实。上面举的例子就是属于扩展现实。另一种是扩展虚拟（Augment Virtuality）。例如，虚拟的环境加上某些真实的物体共同构成扩展虚拟。扩展现实有三个基本特征。1. 真实性：某些环境是人工创造的，因而它是虚拟的。但是在扩展现实

9、中肯定有源于真实现实的部分。2. 非沉浸感：在显示扩展现实中的真实成份和虚拟成份时，均不要求观察者沉浸其中。3. 方位感：真实世界的物体是被感官直接观察到或者通过某些电子综合装置获得的（例如，水下摄像机对不明物体的摄像）。在后一种情况下，方位感成为扩展现实迫切需要解决的问题。真实现实、扩展现实和虚拟现实三者构成了一个真实虚拟连续统，它们之间的关系可以用下图表示：混 合 现 实 真实现实 扩展现实 扩展虚拟 虚拟现实图 1 真实虚拟连续统扩展现实与虚拟现实的区别是显而易见的。在虚拟现实系统中，人具有沉浸感。视觉、听觉、嗅觉、味觉、触觉部分或全部处于计算机系统控制之中。人失去与真实现实的一切联系。

10、扩展现实则不同，它是将虚拟的物体融合到真实的环境中，或者将真实的物体融合到虚拟的环境中。在扩展现实中，人可以感受到真实世界的存在。当然，扩展现实所展现出来的世界并不完全是真实现实。它们中的虚拟成份是对真实现实的扩展。真实现实受物理法则的支配，而虚拟现实不受物理法则支配。在扩展现实中，如何将真实的部分和虚拟的部分完美无缺地融合在一起，这已成为计算机领域中热门话题。就其实际应用价值而言，扩展现实远远大于虚拟现实。例如，在人工心脏手术中，可以在计算机上实时捕捉人体胸腔内动态图像，同时将人工心脏作为虚拟物体加进动态图像中，进行虚拟物体与真实环境的匹配。再如，扩展现实在体内肿瘤的诊断中也有广泛的应用。扩

11、展虚拟在文物保护中可以起到重要的作用。一座孤零零的古代建筑（真实物体）可以放在一个虚拟的环境中，从而确定保护文物的最佳环境。除了医学、文物保护之外，扩展现实在建筑装修、军事侦察、宇宙空间探索等领域应用也极为广泛。二当我们考察以直接的方式（例如感官的认知）获取的作为知识形态的真实现实时，笔者认为，真实现实、扩展现实和虚拟现实有着相同的认知生理基础。我们都知道神经系统是人类进行意识活动的基础。神经调节的基本方式是反射(Reflex)，即在中枢神经系统的控制下，机体对内外环境变化的刺激所发生的有适应性的反应。反射活动的结构基础是反射弧(Reflex Arc)，它由五部分构成，即：感受器、传入神经、神

12、经中枢、传出神经和效应器。反射弧的路径为：刺激 感受器 传入神经 神经中枢 传出神经 效应器 产生行为图 2 神经反射弧路径在上图中，感受器的作用是将来自内外环境的刺激转变成神经信息（即神经冲动），由传入神经传至神经中枢（位于脑、脊髓内的那些与某一反射活动有关的神经细胞群）。神经中枢对传入的信息经处理后发出指令 ，经传出神经将 指令传至与其相连的由肌肉所构成的各器官或腺体并改变其活动以适应这一环境条件的变化。人的神经系统并不会因为信息科技的发展而改变。在真实现实、扩展现实和虚拟现实中，信号在人的神经系统中输入输出的路径是一致的：即反射弧。从输入端看，真实现实与虚拟现实所不同的是神经元所接受信号

13、的方式不同：在真实现实中，是具体物体对感受器官产生了刺激，比如波长为 370740nm 的电磁波刺激了眼睛中的神经元而使大脑对事物产生了感觉。而在虚拟现实中，这种信号表现为由 0、1 构成的二进制中的一些字符串，其最小单位为 bit。它们是对人类神经系统产生刺激信号的一种方式。随着信息科技的发展，虚拟现实中的 bit 信号刺激可以越级进行，这在真实现实中是不能做到的。这种越级表现为：在神经反射弧路径中，bit 信号不一定必须从感受器开始，而可以从传入神经、神经中枢、传出神经或效应器开始。这是有别于在真实现实中物体对机体的刺激而导致生理行为的路径，这也是科技进步给人类认识与行为带来的贡献。由此也

14、导致了人是否会成为机器的奴隶的争论。从输出端看，不论是 bit 信号还是具体物体的刺激信号，最终都必须通过效应器对机体的行为产生影响。与真实现实一样，在虚拟现实系统中，人们与系统环境不仅有信息的沟通，而且也有物质和能量的交换。比如，在一个充满恐怖的虚拟现实系统中，人体植物神经系统中交感神经居于主要地位，此时机体心跳加快、内脏与皮肤血管收缩、支气管平滑肌舒张、胃肠蠕动抑制、瞳孔扩大、竖毛肌收缩、汗腺分泌、糖元代谢加快、葡萄糖分解增多、能量消耗加大。在这种情形下，虚拟现实中的人们不仅有信息（恐怖）的交流，而且也有物质（葡萄糖）与能量（热能）的改变。人的反射活动，进一步可分为非条件反射（Uncond

15、itioned Reflex）与条件反射（Conditioned Reflex）。非条件反射是种族所共有的、与生俱来的、有着固定反射弧的反射活动，比如吮吸反射、角膜反射、性反射。条件反射则是在非条件反射基础之上的个体在其社会实践中逐步形成的反射。巴浦洛夫认为信号活动（即条件反射）是大脑皮质基本的活动。他把这种信号分为二类：第一信号与第二信号。第一信号指现实的具体信号，比如灯光、铃声、食物的具体性状。第二信号指抽象化的信号，比如“食物”这一词并不代表某一具体食品，而是对一切具有食物属性事物的概括。语言与文字是在具体信号的基础上形成的，是具体信号的信号，即第二信号。第二信号系统是在第一信号系统的基

16、础上建立起来的。例如对“寒冷”一词的理解，起初只是因为在大雪纷飞时、温度的降低通过感受器使小孩产生了痛觉而哭啼，于是小孩把“寒冷”与“ 大雪”联系在一起。随着小孩的成长与教育，“寒冷”一词就会与“ 冬天”、“冰”、“ 冻疮”、“霜”等联系在一起。那么，在虚拟现实中，人们为什么会觉得寒冷呢？这可以通过视觉：大雪纷飞的场面出现，也可以通过寒风呼啸的听觉，也可以通过对皮肤产生一定痛值的刺激达到。无论是哪种方法，在虚拟现实系统中，人们对寒冷的感知必须具备以下条件：1 作为虚拟现实主体的人本身必须有对寒冷的感受经验，比如打寒战；2 对寒冷诱因如大雪、寒风等的直接或间接感知；3 对一定背景的逻辑推断力：如

17、看到腊梅傲开、草地枯黄的场景，作为主体的人便能推断出可能是冬季；4 所控制使用者（人）行为电子信号的设立必须是建立在对人的生理、心理行为的研究基础之上的。由此可见，首先真实现实、虚拟现实都是依赖于人的神经系统的。离开了人的生理基础，讨论真实现实与虚拟现实是毫无意义的。扩展现实的情形兼有上述两种情况。其次，扩展现实和虚拟现实是依赖于真实现实的。我们可以在虚拟现实系统中实现某件“不可能的事”。但是如果这种“不可能的事情” 是什么我们都不知道，那么更谈不上在虚拟现实中去实现它了。在真实现实中“有所思”，才能在虚拟现实系统中“有所见” 。因此，虚拟现实不能离开真实现实。三当我们考察以间接的方式（例如对

18、不明物体的扫描）获取作为知识形态的真实现实时，就有一个重要的概念必须提及，即知识世界的范围（Extend of World Knowledge, EWK）。知识世界范围问题可以定义为我们对视频物体和物体所在的世界事实上知道多少？我们可以用下图表示知识世界的范围。where/what where+what 非模型化的世界 部分模型化的世界完全模型化的世界图 3 知识世界的范围上图左端表明我们对视频所显示出来的陌生的世界一无所知。这个世界图像数据是非模型化的，因为这些图像是通过对间接获得的场景盲目扫描取得的。这些非模型化的数据并没有包含图像的内容。当前绝大多数远程电子操纵系统的视频显示中，尤其是在

19、不明环境下的水下探险、军事调动中，非模型化的世界表明得尤为明显。知识世界范围另一端是完全模型化的世界。虚拟世界就是一个完全模型化的世界。只有当确切知道某一个世界中的每一个物体是什么，它在该世界中的位置，观察者在该世界中的视角和人体运动轨迹时，我们才能构建虚拟现实。虽然知识世界的两端是常见的情形，但是更多的是需要将真实的物体和虚拟物体融合在一个视频画面中。这里就有三种情况：where、what 和 where+what。在某些情景中，我们可能知道一个物体的位置，但是却不知道它是什么；在另一些情景中，我们可能知道场景中的物体是什么，但却不知道它的位置；还有一些情景，我们知道场景中某些物体是什么和它

20、所处的位置的信息，但却不知另一些物体这些方面的信息。与此形成对比的事，在非模型化世界中，我们没有任何关于“where”和“what”的信息，在完全模型化的世界中，我们知道所有的“where”和“what”信息。知识世界范围问题在扩展现实中有着十分广泛的和重要的应用。通常，将任意一幅虚拟画面叠加到一幅真实现实的图画中，技术上是十分简单的。但是，从实际应用出发，为了使图像有合适的显示，就必须确切知道真实世界的物体在哪里和它的轨迹。当我们处理非结构化和完全非模型化的世界，这决不是一件简单的事。假设我们知道视频世界所有物体的“where”和“what”信息，那么我们就可以认为，与虚拟现实相比，扩展现实对于人类是最有价值的。由此可见，在知识世界范围内，真实世界、扩展世界和虚拟世界是人类认知的三个阶段。从完全不知到部分认识再到完全认识的过程，表明人类认识的进步。虽然我们对非模型化的世界一无所知，但是它却是真实世界视频窗口，认识的目的正在于对真实世界的改造。