(报告出品方:天风证券)
如何理解空间:①人和计算机所处的物理空间;②计算机拥有的信息层面对应的虚拟空间 如何理解计算:①决定虚拟空间信息的呈现;②控制真实物理空间的物体
狭义的空间计算平台是一种虚拟现实(VR)、增强现实(AR)、混合现实(MR)以及更 自然的人机交互界面,机器保留并处理真实空间和真实空间的物体。
空间计算平台可以实 现:①允许创建虚拟信息并且把他们投射到真实空间中(Virtual Space –>Real Space,AR ); ②允许用户把真实空间或者真实空间的物体数字化放进机器(Real Space –>Virtual Space, VR/MR )。空间计算将人所处的真实空间和计算机拥有的虚拟空间更好地融合,定义了 一种人机交互新范式。
空间计算平台可以实现的操作包括:
①测量时空属性(Measuring Space-time):获取时 空属性并将其转换为信息,如测量距离、角度、持续时间、面积,密度和曲率等;
②操纵时空属性(Manipulating Space-time):获取信息并且改变时空属性,和时空属性测量 互为逆过程,例如移动设备、改变曲率、局部扩展或收缩空间或改变局部物理特性;
③计算模式(Computing Pattern):在时间和空间上进行抽象的、信息层面上的操作,包括 纯计算机计算方面的内容、不和物体直接接触的传感器(如声光传感器或 LED 元件)间的 信息传递等环节;
④物理演化(Physical Evolution):真实空间物理系统的时空属性变化 遵循客观规律,空间计算平台对于时空属性的程序控制需要考虑客观物理规律前提。
空间计算定义人机交互新范式,将机器中的空间(虚拟空间)和空间中的机器(物理空间) 更好地联系在一起,让机器成为人生活工作中更全面的伙伴,我们认为:
1) 解决计算设备物理空间和虚拟空间体积的冲突:将计算设备呈现的虚拟空间无限延伸;
2) 提供更直观的显示和更自然的交互:①显示:计算设备信息呈现,整体朝着更接近直 观更贴近真实的方向演绎(文字→2D 图像的 2D 显示→3D 图像的 2D 显示),空间计 算设备具有的 3D 图像的 3D 显示摆脱了原先 2D 平板屏幕的限制,提供更贴近真实更 直观的信息呈现;②交互:计算设备的人机交互方式整体朝着更自然的方式演绎(PC: 键盘→鼠标→触控,手机:按键→触控),空间计算手动交互替代原先操作手柄控制 可类比手机从按键到触控交互方式的转变,实现空间维度的人和虚拟信息零距离,眼 动交互引领交互再升级,眼睛不仅可以被动接受信息的显示同时可以主动地控制信息 的呈现,实现更为自然直接的人机交互;
3) 实现虚拟空间和真实物理空间的融合:①以二维平板屏幕作为主要呈现方式的传统计 算设备(PC、智能手机等),受限于屏幕的二维显示,人和计算设备拥有的虚拟空间 是分立的;②以 Quest Pro 为代表的 VR 设备尽管拥有 Pass-through 功能,可以通过 两个红外摄像头+1 个高分辨率的彩色摄像头合成三维视图,但是整体三维重建效果一 般,视图扭曲且分辨率低,人和真实物理空间是分立的;③以 Vision Pro 为代表的空 间计算机通过三维显示实现虚拟空间的无限延伸,以及通过多传感器+摄像头+低延迟 计算+高分辨率显示实现真实环境的实时重建,实现了虚拟空间和真实空间的融合;
4) 创建更深层次的连接:①通过将计算设备的使用者带到相同的虚拟空间创造和非同一 物理空间的人的连接,实现跨越空间的紧密连接;②空间计算平台可以拍摄 3D 立体 的照片和视频,真实地重现回忆,还原感受,实现跨越时间的紧密连接。
空间计算广义范畴上是一种信息—环境耦合系统,以环境信息和用户意图为输入,以呈现 给用户的虚拟信息和作用在真实空间物体的操作指令为输出,实现直接、复杂的反馈回路, 人、环境、空间计算设备形成相互耦合的有机系统。
计算机如何理解环境?Vision Pro 通过大量摄像头传感器、专属 R1 芯片的应用实现低延时、高质量的环境信息 感知和三维重建。感知:苹果通过 12 颗摄像头(2 颗注射 RGB 摄像头、4 颗下侧视角摄 像头、2 颗外侧视角摄像头、4 颗内侧红外摄像头)+5 颗传感器(含 1 颗 dToF 传感器) 对于真实环境信息感知充分,激光雷达传感器主要采用 ToF 原理,ToF 传感器三维重建技 术具有数据采集频率高、垂直视场角大、可以直接提供几何信息等优点,可以提升真实环 境重建效果;计算:Vision Pro 采用 M2+R1 双芯片设计,R1 芯片处理来自摄像头、传感 器和麦克风的输入信息,可以在 12ms 内完成信息处理,比眨眼时间还要快 8 倍,低延时 可以保证实时真实的环境重建,同时降低用户的晕动症。
真实环境的三维重建主要通过传感器获得环境信息,然后通过信息处理实现三维重建。
从环境信息的获取方式来看,三维重建技术分接触式和非接触式两种。接触式环境信息获 取主要利用仪器触头直接碰触待测目标,如机械式的三坐标测量仪就是此类三维重建技术, 非接触式环境信息获取通常被分为主动视觉和被动视觉两个类型,主动视觉主要通过特殊 用特殊的光学仪器向视觉场景中投射特殊的结构光,然后通过检测这些投射光在目标表面 的图像,或者计算回收反射信号的时间来进行深度信息获取的三维重建技术,被动视觉直 接利用视觉传感器从客观外界获取相关信息,然后在相关约束条件下,通过信息处理算法 计算出目标的三维坐标信息。
从三维重建算法来看,三维重建算法主要分为基于传统多视图几何和基于深度学习的三维 重建算法:
①多视图几何法是描述同一场景从不同视角下获取的多幅图像与物体之间投影 关系的几何模型, 多视图几何理论把在数学中的推导引入到计算机视觉中, 主要包括射影 变换、小孔成像以及捆绑调整等的推导, 为图像的三维重建提供了理论依据。通常, 多视图 几何法研究内容主要包括不同层次的射影变换(两层摄影变换、三层射影变换等)、摄像机 模型中的内外参数的求取、三维坐标计算等, 该方法还涉及一些三维重建中基本的数学公 式表达, 例如, 基础矩阵、本质矩阵和 N 视点关系等;
②基于深度学习的三维重建算法, 14 年开始 Eigen 团队第一次使用卷积神经网络(CNN)用于三维重建,三维重建领域的深 度学习应用迅速发展,在数据处理、几何推断、结构推理、语义理解等多个层次为三维重 建带来深刻变革。
Vision Pro 眼动交互可以通过目光瞄准和手势确认的方式控制远处物体,也可以通过目光 瞄准的方式实现输入交互。
眼球追踪技术目前有多种技术路线,包括基于 IR 的瞳孔角膜反射法、基于 MEMS 的扫描 方案、基于 DVS 的瞳孔角膜反射法、直接图像处理方案等。
瞳孔角膜发射法的基本原理是:
①使用红外线照射眼睛;
②使用摄像机采集从角膜和视网 膜上反射的红外光线;
③由于眼球的生理结构和物理性质,在光源和头部相对位置不变的 前提下,角膜反射形成的光斑不会移动而视网膜上反射的光线方向标示了瞳孔的朝向;
④ 根据角膜与瞳孔反射光线之间的角度可以计算出眼动的方向。
苹果 2017 年收购了德国眼动追踪公司 SensorMotoric Instruments(SMI)布局眼动追踪 技术。SMI 是一家成立于 1991 年的企业,专注于眼动追踪这一领域产品的开发。在被苹 果公司收购之前,该公司已经为多个公司提供眼动追踪系统,其中包括可集成在三星 Gear VR 中的眼动追踪系统、HTC Vive 中的眼动追踪设备等。
(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)
上一篇
在B站知識區,楊佳奇是個很有意思的人。相較於“學院派”,出身石油工程專業的他常自詡為“工程派”,靠著一套極具激情的野生授課...
《西遊記》,中國文化最大的IP,甚至可以說沒有之一。電影這門藝術,誕生於1895年。銀幕上的光與影,令人癡迷。此後的100多年...