本文作者 刘运增 原创

在我的上一篇文章《元宇宙的核心技术——实时渲染引擎》介绍了基于3D建模技术实时渲染引擎，现在我来介绍另外一种3D图形渲染技术——基于图像的渲染技术，简称IBR（Image-based rendering），

这两钟渲染技术有不同的思路，也有不同的特点和优势，IBR在元宇宙的建立中，也会发挥它的作用，因为它是依靠着实际拍摄的真实照片渲染出来的，它的突出特点是照片级的真实。这两种3D图形渲染技术，都可以实现以第一人称的方式在场景中实现漫游，而这种场景漫游是在元宇宙中，每个参与者虚拟人的替身（Avatar）在虚拟世界中必不可少动作，替身进入元宇宙的虚拟世界后，第一个动作应该就是漫游，替身所看到的视频图像，就是实时渲染高速绘画（rendering）出来的，这和MMORPG (massive-multiplayer online role-playing game) 3D多用户游戏差不多。

为了说明问题，我们先回顾一下基于3D建模技术实时渲染技术的实现过程（这在我的另一篇文章《元宇宙的核心技术——实时渲染引擎》有详细的说明），这种渲染是根据3D模型，用计算机绘制某一视点的图像的过程，而3D模型是根据严格定义的语言和数据结构对于一个3D对象的精确特性描述，这包括：几何尺寸和形状，相机的视点位置，构成模型的材质，灯光和明暗算法的相关信息。而这里渲染出来的图像是数字图像或称光栅图像。渲染一词可能来自于艺术家用笔墨勾画一个场景的含义，渲染也用来描述视频文件的编辑过程，从而产生视频输出，这里也是一个具有“交互性”的视频图像，目的就是实现替身在场景中漫游。渲染是计算机图形下的一个主要的术语，实际上它们是相互关联的，在计算机图形绘制过程中，渲染是最后的重要一步，也是根据模型产生图像和动画的最终结果。在1970年之前，计算机图形的概念还没有理清，而现在这个术语已经变得更加明晰和严格。

在计算机图形和计算机视觉系统中，基于图象的渲染（Image-based rendering，既IBR）实际上针对建模技术提出来的：它不需要建立过于复杂的模型，它是使用一组在场景中拍摄的照片，建立新视点(即不在这组照片拍摄的相机位置上)的2D视图图像。这种思路是可行的，因为如果在场景中两个相邻的位置拍摄两张照片，显然可以用插值的方法求出在两个相机位置的连线上的任意位置的2D图像。只要使用每张照片上的每个像素插值即可。

基于图象的渲染（Image-based rendering，既IBR）是指仅仅根据在3D场景中按一定的算法，有序拍摄的一组2D图像，计算机使用已经在不同位置拍摄的原始照片，渲染出在一个指定位置的视点的2D图像。而传统的计算机图形技术是先建立一个场景的3D几何模型，然后再根据已经建立起来的场景3D模型，指定相机在3D场景中的精确位置，用计算机投影绘制（渲染）2D视图。基于图象的渲染与传统的基于建立3D模型的渲染技术完全不同，它不建立3D几何模型，仅仅根据一组在3D场景中拍摄的实际照片图像建立场景中任意视点的2D图像，这不仅省去了建立越来越复杂的几何3D模型，而且由于是基于实拍的照片，使得生成的任意视点的视图更加真实。作为一个全新的研究领域，IBR经有了十几年的历史了，并且在图像采集，场景描述，图像的渲染等方面都取得了实质性的进步，已经有了很多实施的技术方案。这也证实：3D场景描述和渲染技术可能有多种多样，这取决于你的设计思想，及图像采样的方法和易用性，几何计算的可行性，几何精度，源图像的数量和几何分布的情况，还与你要实现的虚拟漫游的自由程度，场景的复杂性等有关。

基本原理基于图像的渲染

十几年来，IBR一直停留在研究领域，实际的应用很少，但是近年来，随着全景摄影技术的进步，许多人试图把全景应用到IBR技术中来，即：在3D场景中，沿着指定的路线，拍摄一系列全景照片，开发专用的播放器，与地图结合起来，观看者可以像在街道的中心漫游并观看四周的景观一样，实现了部分自由度的场景漫游。这是一种简单的基于图像的渲染技术。Google在2007年推出的“街景漫游”（StreetView）就是利用全景照片实现虚拟漫游。Google的“街景漫游”（StreetView）不是完全自由的场景漫游，也不具有交互性，它是配合Google地球，实现沿着城市的街道的中心漫游，可以浏览街道两边的建筑物和街景风光。

谷歌的街景漫游

其实微软的虚拟地图也同样有这种技术，叫做street-side view。不过，后来，微软又推出全新构思的的软件——Photosynth，这个全新的革命性技术是真正的IBR，它巧妙地应用互联网上大量的图片作为系统的来源图像，智能化地处理世界上某一个景点的不同角度和位置的的大量图片，重建3D场景，基于大量（可能多达数百张）在该场景中拍摄的照片集群，构建一个3d的虚拟漫游环境。从视觉上看，就建立了一个能在场景中漫游的虚拟现实系统。Photosynth是第一个把IBR推向实用的产品，尽管由于现在的计算机的性能和网络的速度限制它的性能，目前还不能形成连续的视觉图像，但从长远看，一定能实现基于图像的3D虚拟现实。

street-side view

Photosynth

总之，基于3D建模和基于图像，这两种渲染技术都是为了实现虚拟人物在虚拟世界中漫游，他们各有特色，各有自己的优缺点，它们都可能在建立元宇宙（虚拟世界）找到自己的位置，发挥自己的特长，适应各种不同的应用。