虚幻引擎5技术解析：几何图像的思想
2021-1-19 18:25:50 点击：
2020年5月13日，Epic Game揭开了虚幻引擎5的神秘面纱，该公司发布的演示视频惊艳了全球游戏业。虚幻引擎5的强大性能彻底地征服了计算机图形学领域的学术同行和广大玩家。这次技术飞跃使得游戏中的实时细节渲染更加逼近电影CG效果和真实的物理世界。
虚幻引擎5具备两大全新核心技术：Nanite虚拟微多边形几何技术和Lumen动态全局光照技术。Nanite虚拟几何技术的出现意味着由数以亿计的多边形组成的影视级艺术作品可以被直接导入虚幻引擎，Nanite几何体可以被实时流送和缩放，因此无需再考虑多边形数量预算、多边形内存预算或绘制次数预算了；也不用再将细节烘焙到法线贴图或手动编辑细节层次（LOD），这必定是图形学领域革命性的飞跃。
传统方法
传统的计算机图形学技术中，三维几何形状用所谓的三角网格来表示。我们在曲面上稠密采样，然后将采样点三角剖分，记录下三角网格的组合结构信息，同时记录下所有顶点的三维位置信息，我们由此来表达曲面形状。相比于图像，三角网格的组合结构通常是不规则的，我们无法通过每个顶点的序号来预测顶点所在的区域。这种不规则性，使得三角网格无法直接用硬件表达和随机存取；在几何处理软件中，三角网格的数据结构需要大量的指针，需要复杂精巧的算法来处理。
曲面几何的细节由三角面片来表达，给定同样的原始曲面，粗糙的几何需要较低的采样率和较少的三角面片（低模），精密的几何表示需要更高的采样率和更多的三角面片（高模）。低模提高了渲染速度，但是降低了画面质量；高解析度的三角网格降低渲染画面的帧率，但是提高了画面渲染质量。在游戏中，为了达到实时交互的速度，根据人物距离镜头的远见，视角方向，我们可以动态选择不同精密程度的三角网格。低模和高模可以用统一的数据格式来表示，动态改变解析度，这一几何表示被称为是LOD（Level Of Detail）表示，由
Nanite 几何图像方法
那么，Nanite的虚拟微多边形几何技术究竟高明在哪里？为什么一夜之间就可以摒弃人们数十年来积累的技术？很多计算机图形学领域的专家分析，Nanite的几何技术很有可能是基于老顾18年前与Gortler 教授、Hughes Hoppe合作的SIGGRAPH论文，“几何图像”。
如上讨论，我们看到在图形学中有两种主要的数据结构：表示几何的不规则三角网格和表示纹理的规则图像。为了处理这两种迥然不同的数据，图形处理单元（GPU）硬件中设置了两条流水线，一条用于处理三角网格，另外一条用于出来纹理图像。老顾当时的想法是将两种数据结构统一成纹理图像，从而抛弃三角网格的流水线，由纹理图像的流水线处理几何与纹理数据，从而简化GPU的硬件设计，提高渲染速度
几何图像包含了三维曲面的全部几何信息，自然可以被渲染成曲面。当然，实际应用中，我们也可以将高模曲面相对于低模曲面的位移也表示成几何图像，达到浮雕效果。总而言之，我们用图像的数据结构来统一几何和纹理，每个曲面模型都表示成几张巨大的纹理图像。例如Nanite技术中的曲面包含几何图像、颜色纹理、金属材质纹理、光学特性等几张纹理。这种规则的表示方法具有很多优点，例如渲染过程中可以动态决定解析率（mipmap pyramid），可以动态细分加密（subdivision），动态生成纹理，例如存储全局光照的中间计算结果等等。特别是，几何图像的格式，使得内存访问模式更加有规律，更加容易预测，从而提高内存访问效率，极大地提高了数据调度的速度。
那么，为什么18年前GPU没有采用几何图像的技术路线呢？老顾觉得一个重要原因在于那时候曲面参数化技术还没有出现，从三角网格到几何图像的转换非常困难。现在，由于计算共形几何的理论和算法成熟，计算最优传输映射也接近成熟，曲面参数化的问题不再是瓶颈。
展望
虚幻引擎5具备两大全新核心技术：Nanite虚拟微多边形几何技术和Lumen动态全局光照技术。Nanite虚拟几何技术的出现意味着由数以亿计的多边形组成的影视级艺术作品可以被直接导入虚幻引擎，Nanite几何体可以被实时流送和缩放，因此无需再考虑多边形数量预算、多边形内存预算或绘制次数预算了；也不用再将细节烘焙到法线贴图或手动编辑细节层次（LOD），这必定是图形学领域革命性的飞跃。
传统方法
传统的计算机图形学技术中，三维几何形状用所谓的三角网格来表示。我们在曲面上稠密采样，然后将采样点三角剖分，记录下三角网格的组合结构信息，同时记录下所有顶点的三维位置信息，我们由此来表达曲面形状。相比于图像，三角网格的组合结构通常是不规则的，我们无法通过每个顶点的序号来预测顶点所在的区域。这种不规则性，使得三角网格无法直接用硬件表达和随机存取；在几何处理软件中，三角网格的数据结构需要大量的指针，需要复杂精巧的算法来处理。
曲面几何的细节由三角面片来表达，给定同样的原始曲面，粗糙的几何需要较低的采样率和较少的三角面片（低模），精密的几何表示需要更高的采样率和更多的三角面片（高模）。低模提高了渲染速度，但是降低了画面质量；高解析度的三角网格降低渲染画面的帧率，但是提高了画面渲染质量。在游戏中，为了达到实时交互的速度，根据人物距离镜头的远见，视角方向，我们可以动态选择不同精密程度的三角网格。低模和高模可以用统一的数据格式来表示，动态改变解析度，这一几何表示被称为是LOD（Level Of Detail）表示，由
Nanite 几何图像方法
那么，Nanite的虚拟微多边形几何技术究竟高明在哪里？为什么一夜之间就可以摒弃人们数十年来积累的技术？很多计算机图形学领域的专家分析，Nanite的几何技术很有可能是基于老顾18年前与Gortler 教授、Hughes Hoppe合作的SIGGRAPH论文，“几何图像”。
如上讨论，我们看到在图形学中有两种主要的数据结构：表示几何的不规则三角网格和表示纹理的规则图像。为了处理这两种迥然不同的数据，图形处理单元（GPU）硬件中设置了两条流水线，一条用于处理三角网格，另外一条用于出来纹理图像。老顾当时的想法是将两种数据结构统一成纹理图像，从而抛弃三角网格的流水线，由纹理图像的流水线处理几何与纹理数据，从而简化GPU的硬件设计，提高渲染速度
几何图像包含了三维曲面的全部几何信息，自然可以被渲染成曲面。当然，实际应用中，我们也可以将高模曲面相对于低模曲面的位移也表示成几何图像，达到浮雕效果。总而言之，我们用图像的数据结构来统一几何和纹理，每个曲面模型都表示成几张巨大的纹理图像。例如Nanite技术中的曲面包含几何图像、颜色纹理、金属材质纹理、光学特性等几张纹理。这种规则的表示方法具有很多优点，例如渲染过程中可以动态决定解析率（mipmap pyramid），可以动态细分加密（subdivision），动态生成纹理，例如存储全局光照的中间计算结果等等。特别是，几何图像的格式，使得内存访问模式更加有规律，更加容易预测，从而提高内存访问效率，极大地提高了数据调度的速度。
那么，为什么18年前GPU没有采用几何图像的技术路线呢？老顾觉得一个重要原因在于那时候曲面参数化技术还没有出现，从三角网格到几何图像的转换非常困难。现在，由于计算共形几何的理论和算法成熟，计算最优传输映射也接近成熟，曲面参数化的问题不再是瓶颈。
展望
从2002年至今，几何图像这篇文章在图形学领域广泛传播，专家学者同行们进行了大量的后继研究，引用数目上千。无数的学者和工程师们耗费多年的心血，全面改进了技术，推动了这一领域的发展，日积月累，终于一鸣惊人。如果几何图像被工业界广泛接受，那么全局参数化、基于几何图像的渲染、基于几何图像的硬件设计会吸引人们更多的注意。相应的，微分几何理论基础将会成为图形学领域的必修课程之一。在未来，我们期待基础数学更加深刻的应用，图形学领域更多革命性的成果涌现！
声明：文章内容整理来源于网络，版权属于原作者，如有问题，请联系我们！
- 上一篇：虚拟现实仿真技术在医学手术的应用 2021/1/19
- 下一篇：UE4里函数和事件、宏的区别 2021/1/18
