

虚拟现实,从娱乐到工作
作者:张星云推荐人·艾德里安·莱西从研发之初,虚拟现实设备的目标就是取代手机,成为下一款人人日常使用的数码科技设备。虚拟现实具有很高的发展潜力,因为归根结底,到目前为止,我们人类生活在一个三维的世界里,但我们使用和消费的所有内容,从书本到电影,都是二维的。这几年,我们突然发现原来虚拟现实有着强大的能力,能让我们走进屏幕中去,走进三维世界。
尤其是渲染技术的发展,使得虚拟现实技术有了再次引发巨大变革的可能性。比如你可以扫描你周围的真实环境,然后重新在虚拟世界中生成一个数字化的但是非常逼真的环境。这样一来,你头戴虚拟现实显示器时看到的世界就会超越二维世界,看上去无限接近真实世界。
渲染技术对人与人的交流同样影响巨大。当我们通过虚拟人物交谈,我们眼神的变化,在感到尴尬时泛红的脸颊,这些是在二维世界很难表现的细节,但在三维的虚拟现实中都可以表现得更好,让人们有更多在场感,这很有助于叙事。
这让我想起来,最近网飞上映了根据刘慈欣科幻小说改编的电视剧《三体》,里面有一个情节很有意思,三体人通过一款虚拟现实游戏,让地球人了解到三体人的世界到底发生了什么。也许从某种程度来说,在未来的某个时候,虚拟现实游戏是最好的讲故事的方式,是外星人认为的最能让地球人接受的有效叙事方式。虚拟现实就像是一座充满活力的剧院。你在虚拟现实中可以自由行动,不是静止的,如果虚拟人物对着你讲故事,你转过头没有看他,他会探过头来找到你:“嘿,和你说话呢!”这种复杂的互动叙事方式,现在发展得非常快,它在情感上很吸引人。
比如一个像电影《拆弹部队》那样的游戏,你在虚拟现实游戏中扮演一位拆弹专家,正在拆除人质身上绑着的定时炸弹,你离人质很近,边拆除炸弹,边可以用余光看到人质在看着你,可能他在冒虚汗,可能他在哭泣,于是你会感受到一种强烈的被依赖感和危机感,这些情感元素,会让你一下变得紧张起来。所以你不想搞砸了。
我在育碧游戏公司工作20多年,曾参与了《舞力全开》《幽灵行动》《刺客信条》《曼雷》《疯狂兔子》等游戏的开发和发行,总共30多款游戏、50多部短片的制作,其中也包括多款虚拟现实游戏项目。如果说我们如今仍处于虚拟现实技术的初级阶段,那在这个阶段中,游戏绝对是最广泛、最合适的应用场景。当然,尽管我们研发的这些都是游戏相关产品,但我们很清楚,随着技术的融合,游戏所带来的应用体验和技术突破将来也会反作用于虚拟现实技术,这些技术将大有可为。人类发展的历史经验往往如此,科技的轻微变化,就能为人们的生活带来巨大的影响。
2019年,我主导开发了多人在线虚拟现实射击游戏《太空镖客》(Space Junkies)。这款游戏支持跨平台,使用HTC、Meta、PS三家头戴式虚拟现实设备的玩家可以同场竞技。多人在线游戏的概念,当时超越了普遍的虚拟现实游戏。如果说初代虚拟现实技术通常是一个人在虚拟空间里去体验,去看画面、看电影,那第二代虚拟现实更看重的就是用户与用户在虚拟空间里的互动。现在想想,这款游戏要比2021年元宇宙概念被广泛提及还早了三年。
实际上那款游戏的研发,我们没有太从商业的角度去考虑,而更多是从技术层面。我们做了全身动作捕捉,计算出玩家身体每一处的细微动作,并在虚拟现实中表现出来。这样一来,我可以在虚拟空间中用手将一支笔、一把枪传递给你。游戏背景发生在太空,所以在失重状态下,可以将手中的笔弹开,它在太空中飘浮,然后你抓住它。
如今的虚拟现实技术不只提供一种体验或者娱乐,比如和恐龙一起散步,与海豚或鲸鱼一起游泳,人们也开始用它来工作了。
我们在制作《太空镖客》时就深有体会。《太空镖客》有很广阔的虚拟世界,制作完游戏后,会请游戏测试员与制作人员戴上虚拟现实显示器,一起进入游戏世界,我们在虚拟太空中四处飘荡,检查这里或那里是否有制作漏洞,那种感受太奇妙了。测试人员会在远处招呼我:“你快过来,你看,这里有个物品我拿不起来,这个有问题。”随后我就飞向他,飘在他的身边,一起和他上手讨论。我觉得这就是虚拟现实的前景,它可以模拟任何环境,用来多人协同工作,用来培训、用来实验,很了不起。
如今人们开始用虚拟现实技术进行危险的消防演习或化学实验。比如可以在微观尺度上用分子做实验,再结合热力学等科学,可以做很多实验,又不至于真的产生爆炸,伤及实验人员。在医疗领域同样,也许很快人们就会用虚拟现实技术来做手术,这样可以放大比例,调整观察角度,更精细地操作手术,当然前提是医院的无线网络要保持顺畅。
虚拟现实技术成了一个非常好的工具,人们可以真正地“玩”科学,我认为也会将科学推向下一个层次。
虚拟现实的社交属性同样很棒。比如戴上虚拟现实显示器,我可以和其他朋友一起,在巨大宽敞的电影院里看电影,看电影的过程中我可以与朋友们聊电影情节,相互开玩笑,感知着对方的存在感,但实际上我只是一个人缩在巴黎狭窄的公寓里。
我母亲84岁了,已经不能像以前那样旅行了,如果给她戴上虚拟现实显示器,她能再到处看看也很好。如果我不在她身边,但可以通过虚拟现实随时与她坐在一起,与她开玩笑,陪她翻翻老照片,这些都让她很受用。
这些都是真实有趣的例子。这些探索都会继续下去。我相信,5年或10年后,在下一代身上,虚拟现实会发生更大的变革。
创新行业就是这样,在考虑经济回报之前,我们首先要创新,并且尝试去普及。无论如何,在一个新科技发展之初,最好的普及方式永远是娱乐,从乐趣、从互动、从游戏开始。
| 未来好物单头戴式虚拟现实显示器
Apple Vision Pro和Meta Quest 3
我是“70后”。像我这一代人,最初的虚拟现实体验往往来自投币的街机游戏机。现在回忆起来,颇具年代感。很多游戏公司都推出过大型街机游戏机,有些会使用“伪3D”技术,玩家们走进一个半封闭的空间,面前是一个巨大的背投投影仪,人们拿着枪,或者打恐龙,或者打外星人。那是非常糟糕的虚拟现实体验,会让人有很严重的头昏目眩的感觉。
我是从2013年开始关注虚拟现实技术的。那年欧酷拉公司创始人帕尔默·拉奇(Palmer Luckey)设计推出了Oculus Rift DK1,这是全世界第一款头戴式虚拟现实显示器。DK1非常笨重,需要用数据线连接主机,再用电源线连接电源,但它头一次让我们有了新的体验。很多工程师、程序员开始摆弄它,并开始思考,这台设备的潜力到底有多大?
现在看来,其实DK1有很多局限,它只是一个头戴式显示器,很被动,你戴着它,只能通过旋转头部前后左右环顾四周,没有互动。同一时期,三星、谷歌也都跟进推出了自己的头戴式虚拟现实显示器,但都有同样的局限。
到了2014年,Oculus Rift DK2推出,开始有了变化。除了头戴式显示器,还推出了一些配件,其中就包括控制器。如果我没记错,最初的控制器是一个球体,人们可以滑动球体来进行控制,一下觉得不同了——我们使用虚拟现实装备,不再是被动地前后左右观看,我们一下子有了“手”。
在游戏研发行业,这叫作“输入”(input)。我们很关注“输入”的问题,以前使用电脑或者游戏机,输入设备是键盘、鼠标、手柄、按钮,用按键点击或打出代码,但其实人自己的身体才是最好的输入设备。我们突然发现,人类的双手成了重要的输入设备,这引发了一场巨大的变革。
后来欧酷拉公司被脸书收购了,脸书又顺应元宇宙大势改名成了Meta,这款头戴式虚拟现实设备如今已经出到第三代——Meta Quest 3。如果想要玩游戏或者体验健身软件,它是最好的选择之一,因为它所在的平台制作的内容更丰富。
2023年苹果公司推出了Vision Pro,它的革新之处是强大的空间计算能力。尤其对设计师或者科技从业者来说。我们已经习惯了多屏幕工作,我现在的办公桌上往往放着三个屏幕。Vision Pro的出现,确实让我获得了一个增强的工作空间,我可以同时进行三个建模工作,直接把它拖到另一个软件中,并在虚拟空间中移动它们。
此外苹果的用户界面很简单,这意味着为更多人降低了使用门槛,让更多人可以开始接触虚拟现实设备。另外需要注意的是,这才是苹果出的第一款头戴式虚拟现实显示器,它肯定还会继续进化迭代的,会越来越好。
但Meta Quest 3依然有竞争力,因为它是有控制器的,不像Vision Pro是通过手势控制。我本质上是个游戏玩家,所以我更喜欢有控制器握在手上的感觉,但这不仅是我一个人的感受。比如现在很多公司正在开发智能戒指。这也相当于一种控制器,人们还是喜欢触摸一些实体,而不只是手势。
我记得我在开发跳舞类游戏《舞力全开》时,在多个游戏主机平台上进行测试,当时微软的Xbox推出过一款叫Connnect的体感设备,它是一个放在电视机前的大摄像头,可以识别玩家的任何动作,玩家无需拿着任何控制器,只要举起左手,抬起右脚,屏幕里的玩家形象就会同步做出相同的姿势。
于是我们进行了一个测试,分别让玩家们用Xbox Connnect和任天堂的Wii玩同一款《舞力全开》游戏,任天堂的Wii是传统的有手柄的体感游戏机,玩家需要双手握着一个小短柱手柄来跳舞。最终的测试结果是,绝大部分玩家都更喜欢任天堂Wii的游戏体验。
实际上这款跳舞游戏并不需要多用力,因此很明显,用不用控制器,这是一种心理的微妙差别。这也是为什么人们喜欢智能手表或者智能戒指,人喜欢有一些实体,不能全是虚无缥缈的。
无论如何,这两款头戴式虚拟现实显示器,在社交属性上都需要增强。现状是,使用它们的人依然很少,如果你的朋友也用的话,你们可以在不同地点一起戴上显示器去打高尔夫、去玩耍,这种体验会完全不一样。Ray-Ban Meta Smart Glasses
尽管头戴式虚拟现实显示器从一开始的市场定位就是取代手机,但我认为最终这是不可能实现的。在史蒂文·斯皮尔伯格导演的科幻电影《头号玩家》里,未来每个人都戴着这种显示器,可其实这不是我们想要的生活。因为人不想脸上戴着太多东西,人类的本质是人与人的联系。
我有一个特别的观察。当时我的孩子们还小,在家里我有好几款不同品牌的头戴式虚拟现实显示器,他们会戴上体验,比如和恐龙散步,和鲸鱼游泳。但我注意到一件事,他们在用虚拟现实装备的时候,不喜欢我离开房间,他们会时不时地摘下头戴式显示器,看看我还在不在。
这是一种本能表现。因为工作原因,我可能已经习惯了经常戴着头戴式显示器,但对于大众来说,在百分之百的封闭状态里总是感觉怪怪的。人类本性里,我们不喜欢完全沉浸其中。这就像在潜水艇里,或者坐了12小时的长途飞机,你会浑身难受。
当然,我们也和很多使用虚拟现实设备的法国宇航员聊过,对他们来说体验是完全相反的。在狭小的飞船船舱中,当他们戴上虚拟现实设备后,他们感觉自己进入了一个更大的世界,会缓解他们的不适感。而对本身处在自由、广阔空间的人来说,体验正好相反。
相比虚拟现实技术,反而是增强现实技术更容易被人们接受。这是截然相反的两种思维方式。虚拟现实是,我在自己创造的世界里,或者在别人为我创造的世界里,它很大,我生活在这里,是一种完全沉浸式的体验。增强现实是,它把三维世界分层,再把它们混合在一起。因此人们也将其称为混合现实,它不是一种沉浸式体验,更像是一种增强的互动体验。
实际上增强现实最早的应用是工业设计。比如设计一部手机或者一辆摩托车,你需要在它周围前后左右观察,并且关注它的某个主要组件或者细节组件,增强现实功能在这种状态下就很好用,你可以增添组件,还可以把组件分享给别人。这些都会提高我们的工作效率。
我生活在法国,老房子的水电经常会出问题,而水管工和电工在法国很贵,找起来也很麻烦。如果有了更完善的增强现实技术,水管工就不必来我家,在网络的另一头可以直接指导我怎么操作。
谷歌前几年推出的增强现实眼镜并不成功,因为它很难看,又有点笨重,戴上会让人感觉不舒服,即便我是平时也戴光学眼镜的人。2024年雷朋与Meta合作推出的智能眼镜则是这类技术最新的产品。它使用经典雷朋眼镜镜架,两侧搭配微型摄像头,与手机连接,可以识别用户语音和手势。它的核心优点是轻,更像一款普通的眼镜,这也是优于头戴式虚拟现实显示器的重要因素,它让人感觉更“正常”。
虚拟现实和增强现实将如何发展?我认为科学将会带领我们,给我们答案,在未来10年里,会有更好的成长。Humane AI PIN
如果说有一类产品有可能在日后真的取代手机,成为人们日常使用时长最长的科技电子设备,那我觉得可能是新近发售的Humane AI PIN这种智能徽章,它的设计者是苹果公司前设计师伊姆兰·乔德里(Imran Chaudhri)。
我有一个观察,来自我的孩子们,他们用手机和我联系,已经习惯语音留言,他们不怎么打字了。看到那么多条语音留言我就头大,我经常说:“你们应该多打字,这样才不会忘记拼写。”尽管如此,语音交互依然将是未来两代人的大势所趋。
这款智能徽章就是从这一点出发设计出来的。它将语音作为输入设备,搭配人工智能系统,并将你的日历信息、笔记、照片、短信和邮件整合,像是个有记忆的助理。几种最新科技的交叉使用,将会再次引起变革。
它很小很轻,可以佩戴在胸前,随时进行语音控制——语音查信息,语音发短信,实时语音交互翻译。徽章上搭载了一个微型摄像头,可以拍照、录像或识别信息。徽章上还有一个激光墨水投影仪,投影出的图像不大,只要你张开一只手,图像正好是一个巴掌大小。投影的灵感实际上就是来自增强现实技术。需要图像时,你只要在胸前张开手掌,投影仪就会自动把画面投射在你的掌心里。此外它还能够识别各种手势,来进行操作。
这样一来,它就彻底取代了手机的实体屏幕,我们不再需要屏幕了。现在你也许会觉得不可想象,但5年之后,这款设备将不再会让人觉得那么特别了。人们已经看到了手机对生活的巨大影响和颠覆。今后还会有这样的设备取代手机,再次颠覆人们的生活。我觉得我们不应该害怕新科技,而是应该适应它,与它一起成长。上图:游戏《燥热》,下图:游戏《节奏光剑》虚拟现实软件
Hauntify MR、Beat Saber、SuperHot、VRChat
目前有几款虚拟现实游戏做得非常好。比如Hauntify MR,是一款恐怖游戏,会先扫描用户的家,再让用户佩戴头戴式虚拟现实设备置身自己的家中,进行恐怖游戏。你可以在你的房间里自由走动,拾取虚拟道具,女鬼从你家的各个角落里冒出来,追着你。恐怖这种极端情绪往往能最有效最直接地传递出来。这款游戏代表了虚拟现实两个重要的叙事特点,即虚拟现实独特的观看视角,以及对用户情绪的巨大影响力。玩完这款游戏,后来即便我不戴虚拟现实显示器,在家里走动,有时也会后背发凉,太恐怖了,我妻子还为此嘲笑我。
虚拟现实在音乐游戏、健身体育游戏中都有很棒的表现。Beat Saber是虚拟现实游戏里经典中的经典,它对音乐、对节奏的控制都很好。
Super Hot的设计非常简单,它是一款动作类游戏,但体验极其独特。一切都是慢动作,就像《黑客帝国》的子弹时间。只要你动,时间就会流逝,但当你停下来,时间也停止了。所以你可以通过自己身体的移动来控制时间,以避开敌人射来的子弹或扔来的飞锤飞斧。
VRChat并非游戏,更像是一个纯粹的虚拟现实社交平台。每个人都以自己的化身(avatar)出现在这个虚拟世界中,或者是一只鸡,或者是辛普森卡通人物,大家一起聊天、散步、社交。也许我有点老了,这种社交平台对我来说没那么有意思,但我的孩子们很喜欢它,即便大儿子也觉得它很酷,这将会是他们的世界。 设计虚拟现实