增强现实技术（人机交互技术）

增强现实技术

人机交互技术

增强现实（Augmented Reality，简称AR）是增强现实是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。

简介

Augmented Reality(中文翻成增强实境)，这个词近来在网上出现的越来越多，Augmented Reality可以算是Virtual Reality〈虚拟实境〉当中的一支，不过略为不同的是，Virtual Reality是创造一个全新的虚拟世界出来，而Augmented Reality则是强调『虚实结合』。

AR把虚拟的图像和文字讯息与现实生活景物结合在一起，从去年开始，很多AR应用已经在Android和iPhone智能手机上纷纷亮相，呈现效果让大家惊艳不已，甚至有评论网站直指，这已是2010最热的Web趋势之一。

Augmented Reality有三个要素：

1.Combines real and virtual〈结合虚拟与现实〉

2.Interactive in real time〈即时互动〉

3.Registered in 3-D〈3D定位〉

要达到AR的虚实结合，使用者必定得透过某种装置来观看。早先大部分的研究主要是透过HMD〈Head-Mounted Display；就是头罩式的装置〉，技术大概分成光学式〈Optical〉与影像〈Video〉两种，前者是一种透明的装置〈像是柯南的眼镜之类〉，使用者可以直接透过这层看到真实世界的影像，然后会有一些另外的投影装置把虚拟影像投射在这层透明装置上。另外一种是不透明装置，使用者看到的是由电脑处理好、已经虚实结合的影像。最近几年开始流行起来的智能手机，改变了AR的样貌。头戴式的HMD还是太麻烦了，而智能手机同时具备电脑计算能力、录影、影像显示，还有GPS、网路连线、触控、倾斜度侦测等等的额外功能，价格也逐渐平民化，于是在智能手机为平台的AR研究越来越多。

含义

AR(Augmented Reality）：所谓增强现实，是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。

技术原理

增强现实(Augmented Reality，简称AR)，也被称为扩增现实(台湾)。

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

增强现实技术，它广泛运用多媒体、三维建模、智能交互等技术手段，将计算机生成的文字、图像、三维模型等虚拟信息模拟仿真后，应用到现实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

工作原理

移动式增强现实系统的早期原型增强现实的基本理念是将图像、声音和其他感官增强功能实时添加到真实世界的环境中。听起来十分简单。而且，电视网络通过使用图像实现上述目的不是已经有数十年的历史了吗？的确是这样，但是电视网络所做的只是显示不能随着摄像机移动而进行调整的静态图像。增强现实远比您在电视广播中见到的任何技术都要先进，尽管增强现实的早期版本一开始是出现在通过电视播放的比赛和橄榄球比赛中，例如Racef/x和添加的第一次进攻线，它们都是由SporTVision创造的。这些系统只能显示从一个视角所能看到的图像。下一代增强现实系统将显示能从所有观看者的视角看到的图像。

在各类大学和高新技术企业中，增强现实还处于研发的初级阶段。最终，可能到这个十年结束的时候，我们将看到第一批大量投放市场的增强现实系统。一个研究者将其称为“21世纪的随身听”。增强现实要努力实现的不仅是将图像实时添加到真实的环境中，而且还要更改这些图像以适应用户的头部及眼睛的转动，以便图像始终在用户视角范围内。下面是使增强现实系统正常工作所需的三个组件：

1.头戴式显示器

2.跟踪系统

3.移动计算能力

增强现实的开发人员的目标是将这三个组件集成到一个单元中，放置在用带子绑定的设备中，该设备能以无线方式将信息转播到类似于普通眼镜的显示器上。让我们分别来了解这个系统中的每个组件。

主要特点

AR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

组成形式

一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的，常用的有如下三种组成形式。

Monitor-Based

在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器。用户从屏幕上看到最终的增强场景图片。它虽然简单，但不能带给用户多少沉浸感。Monitor-Based增强现实系统实现方案如下图所示。

光学透视式

头盔式显示器(Head-mounted displays，简称HMD)被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-through HMD)。光学透视式增强现实系统实现方案如下图所示。

光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。

视频透视式

视频透视式增强现实系统采用的基于视频合成技术的穿透式HMD(Video See-through HMD)，实现方案如图5所示。

硬件平台

增强现实的应用是一个虚、实结合的应用，它借助于计算机图形和可视化技术，产生现实环境中不存在的虚拟现象，并通过传感技术将虚拟对象准确放在真实环境中，借助显示设备将虚拟现象与真实环境融为一体。基于这样一个背景，增强现实硬件平台的组成包括:

计算机系统、视频输入转换系统、人机交互系统、动作捕捉跟踪系统、视频显示系统、传感系统。

一套纯熟的AR技术，除了符合要求的高质量硬件之外，更需要一套完整、成熟的软件。只有这两个条件同时达到，再加上技术实际应用的丰富经验，才能实现一套完美的用户体验效果。

不少AR研发企业在原有AR技术的基础上，正在致力研究将“人脸识别技术”与“AR技术”相结合的新型“技术产品”。

发展历史

增强现实显示器，将计算机生成的图形叠加到真实世界中。自从二十世纪七十年代早期，Pong进入电子游戏厅以来，视频游戏走进我们的生活已经有30多年了，但是一直局限在屏幕中的2D世界中，而增强现实这一新技术的到来，将通过增强我们的见、声、闻、触和听，进一步模糊真实世界与计算机所生成的虚拟世界之间的界线。

从虚拟现实（创建身临其境的、计算机生成的环境）和真实世界之间的光谱来看，增强现实更接近真实世界。增强现实将图像、声音、触觉和气味按其存在形式添加到自然世界中。由此可以预见视频游戏会推动增强现实的发展，但是这项技术将不仅仅局限于此，而会有无数种应用。从旅行团到军队的每个人都可以通过此技术将计算机生成的图像放在其视野之内，并从中获益。

增强现实将真正改变我们观察世界的方式。想像您自己行走在或者驱车行驶在路上。通过增强现实显示器（最终看起来像一副普通的眼镜），信息化图像将出现在您的视野之内，并且所播放的声音将与您所看到的景象保持同步。这些增强信息将随时更新，以反映当时大脑的活动。在这篇文章中，我们将了解这项未来技术、其技术构成以及如何使用该技术。

google发布的google glass是全球唯一一款真正意义上实现增强现实技术的硬件设备。

Ingress是全球最受欢迎的增强现实APP。

应用领域

AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。

医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位。

军事领域：部队可以利用增强现实技术，进行方位的识别，获得实时所在地点的地理数据等重要军事数据。

古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。

工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。

网络视频通讯领域：该系统使用增强现实和人脸跟踪技术，在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟物体，在很大程度上提高了视频对话的趣味性。

电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时的将辅助信息叠加到画面中，使得观众可以得到更多的信息。

娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战。

旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料。

市政建设规划：采用增强现实技术将规划效果叠加真实场景中以直接获得规划的效果。

国内比较权威的增强现实学者是北京理工大学光电工程系的王涌天教授

国内首次将这项技术应用到普通生活中，是在苹果的AppStore上发布的一款免费的叫作出行百科(增强现实版)XINGWIKI的软件。

记事帖，人们希望将来可以很方便的在不同地点获得同样的媒体和信息，并且是跨越不同的设备上获得-从PC到手机，从投影仪到头戴式显示器。怎样能为用户提供一致的和方便易行的方式来让他们和对他们而言很重要的信息和媒体进行交互，看以下的图你就明白了，你所能操作的界面已经不再是那一块小小的电脑屏幕了，而是延伸到了更大的空间里，并且可以依据人们最为简便的方式随意的记录下你某一时刻突然迸发出的灵感。

实际应用

这项技术有数百种可能的应用，其中游戏和娱乐是最显而易见的应用领域。可以给人们提供即时信息的不需要人们参与任何研究的任何系统，在相当多的领域对所有人都是有价值的。增强现实系统可以立即识别出人们看到的事物，并且检索和显示与该景象相关的数据。

维修和建设——增强现实可以将标记器连接到人们正在施工的特定物体上，然后增强现实系统可以在它上面描绘出图像。

军事——军队数十年来一直在设计使用增强现实，美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署（DARPA）已经投资了HMD项目来开发可以配有便携式信息系统的显示器。其理念在于，增强现实系统可以为军队提供关于周边环境的重要信息，例如显示建筑物另一侧的入口，这有点像X射线视觉。增强现实显示器还能突出显示军队的移动，让士兵可以转移到敌人看不到的地方。

即时信息——旅行者和学生可以使用这些系统了解有关特定历史事件的更多信息。想像行走在美国内战的战场上，并且在头戴式增强现实显示器上看到重现的历史事件。它将使您沉浸在历史事件中，有身临其境之感，而且视角将是全景的。

游戏——增强现实，可以将游戏映射到周围的真实世界中，并可以真正成为其中的一个角色。澳大利亚的一位研究人员创作了一个将流行的视频游戏Quake和增强现实结合起来的原型游戏。他将一个大学校园的模型放进了游戏软件中。

国内现状

作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。

AR是充分发挥创造力的科学技术，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大的深远的影响。

随着技术的不断发展，其内容也势必将不断增加。而随着输入和输出设备价格的不断下降、视频显示质量的提高以及功能很强大但易于使用的软件的实用化，AR的应用必将日益增长。AR技术在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。

总体来讲，增强现实在中国处于起步阶段，许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。

城市镜头是国内首款聚合了目前移动互联最新AR（增强现实）技术的智能手机应用。并致力打造全新的城市导游、导览、导购，景点与游客、商户与用户无缝链接全新的移动互联多资源整合平台。

举起爱机，面向要去的方向。整街商铺、公共设施悉数罗列。摄像头实景展现功能，让您看到、听到、闻到，给您身临其境，新奇有趣的导航体验。换个方向，又是完全不同的搜索结果，所谓“城市镜头手机中，前后左右铺不同”。给用户以新奇实用的导航体验。

应用整合了各城市旅游、餐饮、娱乐、购物、生活、媒体等人们生活中所需的一切信息，并有精准的AR（增强现实）朝向数据导航，为用户轻松定位、准确指引。从而方便、快捷、有效的帮助人们对所需品的选择，提高城市生活质量。

该软件还提供了全面的城市室内导航、景点园区导航等攻略：如城市概况、景点园区导航（游览项目介绍、距离、等待时间等）、商圈室内导航、城市特色及文化推荐等，让用户轻松感受本地精华，做最好最全面的城市导游、导览、导购新平台

相关产品

google正在开发一款云眼镜，利用ar增强现实技术，能够达到人与眼镜的人机交互。

未来展望

很多人对于AR实景这一技术或许还很陌生，但这种技术背后的理念却已开始转变人们对于自我以及身边人和事物的认识。那么AR实景的发展前景如何，来看一下业内人士的观点吧。

摄像头才是王道

Occipital联合创始人VikasReddy在邮件访谈中谈到，AR实景技术尚未发挥出它全部的潜力。这是由于目前追踪和测绘现实的技术水平有限。但Reddy预测，随着计算机视觉算法和硬件设备的发展，摄像头将成为最重要的传感器和输入设备，这不仅仅是AR实景技术方面的趋势，也是整个计算机产业的趋势。

目前，智能手机还无法直接处理现实，只能通过手机屏幕输入信息。以现实世界为画布肆意挥洒还只是一种幻想。但在不久的将来，计算机视觉很有可能实现这个“幻想”，通过计算将现实环境变得更具互动性，充满乐趣，由此，让你的设备无限深入周边视觉空间。

虚拟现实无缝衔接

保罗·波布里安(PaulBerberian)在Blur大会上展示了一款名为《SharkytheBeaver》的新游戏。在这款游戏中，用户通过蓝牙设备控制一个球型机器人，在屏幕上这个球型机器人显示为小海狸的形象。在屏幕上，用户会看到小海狸Shaky在自己身边跳来跳去，还可以喂它蛋糕吃。通过创造两个数据流，用户可以无缝穿梭于真实和虚拟世界。这款游戏也可以作为软件开发包工具（SDK）供开发人员使用。其结果很可能会产生一个形象库。用户可以通过球型机器人控制不同形象。例如：家具商可以利用此技术，这样一来，用户控制小球滚动就可以查看起居室内的桌椅。

脑电波与AR相结合

InteraXon推出了一款脑电波感应头带。佩戴上这款头戴，用户可以通过脑电波来控制窗帘以及灯光。

InteraXon公司CEO克里斯·阿莫尼（ChrisAimone）谈到，有很多很好的方法可以令脑电波和AR实景技术相结合。通常，人们谈到的AR实景有两类：眼镜式AR实景和iPhone摄像头式AR实景。前者指，用户戴上特制眼镜后，反映在镜片上的现实世界得到加强；后者指，新的数据层会添加到用户手中的iPhone屏幕上。

谷歌眼镜式的AR实景为收集脑电波数据提供了一种可能，因为这款用户持续佩戴的设备可以不间断地记录脑电波。脑电波记录可以反映你的实时状态，例如：可以记录你在工作时的压力水平变化。此外，这种技术也使计算系统在情景感知方面做得更好，在提供内容和增强信息时，不仅将地点和视觉输入考虑在内，同时也照顾到用户自身的状态。例如：当用户感到困倦，想要查找周边酒店信息时，会发现系统显示的信息都十分有用。

AR系统中的脑电波还可接受实时的神经反馈，让用户了解自己的大脑状态，从而调整到最适宜的状态。

体验个人化界面简洁化

Geoloqi联合创始人安珀·凯斯认为，当创建定制物体、动画、应用和体验的门槛大幅降低之后，增强现实会变得非常有趣。与Flash和AppStore类似，这种体验将变得更加个人化，可以在朋友间分享。凯斯称，游戏和3D动画在AR实景层面的发展已经十分有限了。未来AR技术的发展应着眼于日常的切实有用的应用，而不是花哨的效果，只能吸引一时的目光。在做AR实景方面的设计时，可以考虑将界面最小化，而不是考虑让它多么闪亮美观。想想谷歌的界面，实在是简洁至极。但它却成功地令数据以一种方便交互的形式呈现出来。

参考资料

1.增强现实技术：军事领域的“新宠”·中国军网