【RTX神经网络渲染：实时光追新境界】
二三十年来，GPU渲染技术一直在创新突破，从2001年NVIDIA推出可编程着色器之后，着色器、编程语言不断演进，尤其是2018年实时光追的加入堪称一次革命性的飞跃。
如今，Blackwell首次引入神经网络着色器，将更多AI的力量融入其中，又为开发者带来了全新的编程方式。
这其中又分为多种细分技术，适用于不同对象的开发，包括神经网络纹理压缩(Neural Texture)、神经网络材质(Neural Material)、神经网络体积(Neural Volume)、神经网络辐射场(Radiance Filed/利用深度学习从部分二维图像集中重建复杂三维场景)、神经网络辐射缓存(Radiance Cache/NRC)，等等。
这就是RTX神经网络着色器的工作流程示意图，涉及到神经网络处理游戏数据、神经网络着色器、Tensor Core、Slang着色器编程语言、端侧训练等诸多环节，形成一个不断增强的闭环。
其中，Cooperative Vector(协作矢量)是一个全新的API，可以让开发者很方便地在DirectX游戏与应用中无缝集成神经网络图形技术，加速访问AI加速器硬件。
这项技术已经得到微软的大力支持，未来将会成为DirectX的一部分，能让开发者充分挖掘RTX Tensor Core的潜力，从而在Windows系统上通过神经网络着色器加速游戏开发。
RTX神经网络纹理、RTX神经网络材质可以简单地理解为更高效、高质量的AI纹理与材质压缩。
它能分层保留更多的材质细节，处理速度可提升5倍之多，而且显存占用空间更小，甚至只需原来的1/7，大大降低硬件负担。
当然，它也可以在同样的显存空间内压缩保存更多材质，从而大大丰富画面细节，比如金属表面的锈迹、宝石表面的纹理，都能结合光线照射，更精致地呈现出来。
这种效果在以往需要漫长的渲染，只能在影视里展现，而现在可以做到实时呈现，从而放在游戏中。
RTX神经网络辐射缓存(NRC)利用实时游戏数据训练的神经网络，更准确高效地估算游戏场景中的间接光照。
它只需追踪有线的光线数量，结合实施自我训练网络，利用AI的力量，去预测、推算出大量的后续光线反射、弹跳，更准确地渲染场景的间接光照效果。
这不仅大大提升了路径光追的质量，也减少了需要追踪的光线数量，从而同时提升画面质量与运行帧数。
NRC关闭、开启效果对比：尤其注意地砖的阴影效果，而帧率是差不多甚至可以更高的。
基于神经网络着色器渲染技术，NVIDIA已经开发出了多个应用实例，包括用于皮肤的RTX Skin、用于脸部的RTX Neural Face、用于毛发的RTX Hair。
我们知道，人类皮肤其实是半透明的，传统渲染只能处理皮肤表面的纹理材质、光照效果，RTX Skin则使用了次表面散射(Subsurface Scattering/SSS)的方式，模拟光线穿透半透明材料的效果，就像“穿透”皮肤表层，从而获得更真实的柔和、自然感。
人脸渲染一直是巨大的难题，很细微的偏差也很容易被看出来，稍有不慎就会引发“恐怖谷效应”，让人感到极为不适。
RTX Neural Face基于在超级计算机上提前学习和训练的成千上万张人脸数据集，只需要简单的光栅化渲染人脸、3D姿态数据，就可以通过生成式AI模型，实时推断、渲染出更自然的人脸，效果，包括不同的角度、光照、情感、表情、遮挡等等。
毛发的自然处理同样是老大难问题，往往涉及到海量的数据与计算。
传统渲染使用大量三角形来获得更自然的毛发效果，一般每根毛发需要30个三角形，整个人类发型就得大约400万个三角形。
如果使用光追的包围盒层次加速结构(BVH)，计算量就会异常庞大，只能降低精度或者减少毛发数量。
Blackwell的线性扫描球体(LSS)技术，将三角形替换为球体，可以更精准地呈现毛发形状，使得实时的毛发光追成为可能，还能减少显存占用。
虚幻引擎5提出了一套名为Nanite的几何系统，通过上亿的海量三角形构建复杂的光追场景，但需要极高的硬件性能，比如《黑神话：悟空》对于显卡的苛刻要求大家有目共睹。
为解决这一挑战，NVIDIA提出了更高效的海量三角形几何渲染方法“RTX Mega Geometry”。
它可以快速、智能地生成、处理、渲染100倍于传统方法的光追三角形集群，并结合Ada架构上引入的OMM处理材质的透明度，同步提升光追性能和图像质量，从而在复杂场景中获得逼近现实的真实光照效果。
RTX Mega Geometry将会很快加入NvRTX的虚幻引擎分支，帮助虚幻引擎Nanite更高效地完成光追场景渲染。
左为传统光追渲染，右为Mega Geometry渲染：尤其注意栏杆投影，传统渲染有明显缺失
