剖析虚幻渲染体系（08）- Shader体系（01）-虚幻5渲染引擎

8.1 本篇概述

Shader是在GPU侧执行的逻辑指令，根据执行单元的不同，可分为顶点着色器（Vertex Shader）、像素着色器（Pixel Shader）、计算着色器（Compute Shader），以及几何着色器、网格着色器等等。

UE的Shader为了跨平台、跨图形API，做了很多封装和抽象，由此阐述的类型和概念非常多，另外，为了优化，提升代码复用率，又增加了排列、PSO、DDC等概念和类型。

前面很多篇章都有涉及Shader的概念、类型和代码，本篇将更加深入且广泛低阐述它的体系。主要阐述UE的以下内容：

需要注意的是，本篇涉及的Shader既包含C++层的概念和类型，也包括GPU层的概念和类型。

8.2 Shader基础

本章将分析Shader涉及的基础概念和类型，阐述它们之间的基本关系和使用方法。

8.2.1 FShader

FShader是一个已经编译好的着色器代码和它的参数绑定的类型，是我们在渲染代码中最基础、核心、常见的一个类型。它的定义如下：

以上可知，FShader存储着Shader关联的绑定参数、顶点工厂、编译后的各类资源等数据，并提供了编译器修改和检测接口，还有各类数据获取接口。

FShader实际上是个基础父类，它的子类有：

FGlobalShader：全局着色器，它的子类在内存中只有唯一的实例，常用于屏幕方块绘制、后处理等。它的定义如下：

// Engine\Source\Runtime\RenderCore\Public\GlobalShader.h

​

class FGlobalShader : public FShader

{

public:

(......)

​

FGlobalShader() : FShader() {}

FGlobalShader(const ShaderMetaType::CompiledShaderInitializerType& Initializer);

// 设置视图着色器参数.

template

inline void SetParameters(TRHICmdList& RHICmdList, ...);

};

相比父类FShader，增加了SetParameters设置视图统一缓冲的接口。FMaterialShader：材质着色器，由FMaterialShaderType指定的材质引用的着色器，是材质蓝图在实例化后的一个shader子集。它的定义如下：

// Engine\Source\Runtime\Renderer\Public\MaterialShader.h

​

class RENDERER_API FMaterialShader : public FShader

{

public:

(......)

​

FMaterialShader() = default;

FMaterialShader(const FMaterialShaderType::CompiledShaderInitializerType& Initializer);

​

// 设置视图Uniform Buffer参数.

template

void SetViewParameters(FRHICommandList& RHICmdList, ...);

// 设置材质相关但非FMeshBatch相关的像素着色器参数

template< typename TRHIShader >

void SetParameters(FRHICommandList& RHICmdList, ...);

// 获取着色器参数绑定.

void GetShaderBindings(const FScene* Scene, ...) const;

​

private:

// 是否允许Uniform表达式缓存.

static int32 bAllowCachedUniformExpressions;

// bAllowCachedUniformExpressions对应的控制台遍历.

static FAutoConsoleVariableRef CVarAllowCachedUniformExpressions;

​

#if !(UE_BUILD_TEST || UE_BUILD_SHIPPING || !WITH_EDITOR)

// 验证表达式和着色器图的有效性.

void VerifyExpressionAndShaderMaps(const FMaterialRenderProxy* MaterialRenderProxy, const FMaterial& Material, const FUniformExpressionCache* UniformExpressionCache) const;

#endif

// 分配的参数Uniform Buffer.

LAYOUT_FIELD(TMemoryImageArray, ParameterCollectionUniformBuffers);

// 材质的着色器Uniform Buffer.

LAYOUT_FIELD(FShaderUniformBufferParameter, MaterialUniformBuffer);

​

(......)

下面是FShader继承体系下的部分子类：

上述只是列出了FShader的部分继承体系，包含了部分之前已经解析过的Shader类型，比如FDeferredLightPS、FFXAAPS、FTonemapPS、FUpscalePS、TBasePassPS、TDepthOnlyPS等等。

FGlobalShader包含了后处理、光照、工具类、可视化、地形、虚拟纹理等方面的Shader代码，可以是VS、PS、CS，但CS必然是FGlobalShader的子类；FMaterialShader主要包含了模型、专用Pass、体素化等方面的Shader代码，可以是VS、PS、GS等，但不会有CS。

如果新定义了FShader的子类，需要借助下面的宏声明和实现对应的代码（部分常见的宏）：

8.2.2 Shader Parameter

着色器参数是一组由CPU的C++层传入GPU Shader并存储于GPU寄存器或显存的数据。下面是着色器参数常见类型的定义：

由此可见，着色器参数可以绑定任何GPU类型的资源或数据，但不同的类只能绑定特定的着色器类型，不能够混用，比如FRWShaderParameter只能绑定UAV或SRV。有了以上类型，就可以在C++层的Shader类配合LAYOUT_FIELD的相关宏声明具体的Shader参数了。

LAYOUT_FIELD是可以声明指定着色器参数的类型、名字、初始值、位域、写入函数等数据的宏，其相关定义如下：

借助LAYOUT_FIELD等宏，就可以在C++类中声明指定类型的着色器参数，示例：

8.2.3 Uniform Buffer

UE的Uniform Buffer涉及了几个核心的概念，最底层的是RHI层的FRHIUniformBuffer，封装了各种图形API的统一缓冲区（也叫Constant Buffer），它的定义如下（去掉了实现和调试代码）：

再往上一层就是TUniformBufferRef，会引用到上述的FRHIUniformBuffer：

再往上一层就是引用了FUniformBufferRHIRef的TUniformBuffer和TRDGUniformBuffer，它们的定义如下：

将它们抽象成UML继承图之后，如下所示：

以上Uniform Buffer的类型可以通过SHADER_PARAMETER的相关宏定义结构体和结构体成员。SHADER_PARAMETER的相关宏定义如下：

注意局部（普通）的Shader Parameter Struct没有实现（IMPLEMENT_SHADER_PARAMETER_STRUCT）宏，Global的才有（IMPLEMENT_GLOBAL_SHADER_PARAMETER_STRUCT）。

下面给出示例，展示如何用上述部分宏来声明着色器的各类参数：

上面的着色器结构体是在C++侧声明和实现的，如果需要正确传入到Shader中，还需要额外的C++代码来完成：

8.2.4 Vertex Factory

我们知道，在引擎中存在着静态网格、蒙皮骨骼、程序化网格以及地形等等类型的网格类型，而材质就是通过顶点工厂FVertexFactory来支持这些网格类型。实际上，顶点工厂要涉及各方面的数据和类型，包含但不限于：

顶点工厂在渲染层级中的关系。由图可知，顶点工厂是渲染线程的对象，横跨于CPU和GPU两端。

FVertexFactory封装了可以链接到顶点着色器的顶点数据资源，它和相关类型的定义如下：

上面展示了Vertex Factory的很多类型，有好几个是核心类，比如FVertexFactory、FVertexElement、FRHIVertexDeclaration、FRHIVertexBuffer、FVertexFactoryType、FVertexStreamComponent、FVertexInputStream、FVertexFactoryShaderParameters等。那么它们之间的关系是什么呢？

为了更好地说明它们之间的关系，以静态模型的FStaticMeshDataType为例：

FStaticMeshDataType会包含若干个FVertexStreamComponent实例，每个FVertexStreamComponent包含了一个在FVertexDeclarationElementList的FVertexElement实例索引和一个在FVertexInputStreamArray列表的FVertexStream实例索引。

此外，FVertexFactory是个基类，内置的子类主要有：

FGeometryCacheVertexVertexFactory：几何缓存顶点的顶点工厂，常用于预生成的布料、动作等网格类型。FGPUBaseSkinVertexFactory：GPU蒙皮骨骼网格的父类，它的子类有：

TGPUSkinVertexFactory：可指定骨骼权重方式的GPU蒙皮的顶点工厂。FLocalVertexFactory：局部顶点工厂，常用于静态网格，它拥有数量较多的子类：

除了以上继承自FVertexFactory，还有一些不是继承自FVertexFactory的类型，如：

FGPUBaseSkinAPEXClothVertexFactory：布料顶点工厂。

除了FVertexFactory，相应的其它核心类也有继承体系。比如FVertexFactoryShaderParameters的子类有：

另外，有部分顶点工厂还会在内部派生FStaticMeshDataType的类型，以复用静态网格相关的数据成员。

为了更好地说明顶点工厂的使用方式，下面就以最常见的FLocalVertexFactory和使用了FLocalVertexFactory的CableComponent为例：

下面进入CableComponent相关类型关于FLocalVertexFactory的使用：

由上面的代码可知，使用已有的顶点工厂的步骤并复杂，主要在于初始化、赋值和传递给FMeshBatch实例等步骤。

不过，无论是使用已有的还是自定义的顶点工厂，顶点工厂的顶点声明的顺序、类型、组件数量和插槽需要和HLSL层的FVertexFactoryInput保持一致。比如说FLocalVertexFactory::InitRHI的顶点声明顺序是位置、切线、颜色、纹理坐标、光照图，那么我们进入FLocalVertexFactory对应的HLSL文件（由IMPLEMENT_VERTEX_FACTORY_TYPE等宏指定）看看：

因此可知，FVertexFactoryInput结构体的数据顺序和FLocalVertexFactory的顶点声明是一一对应的。

8.2.5 Shader Permutation

UE的Shader代码是采样的了全能着色器（Uber Shader）的设计架构，这就需要在同一个shader代码文件里增加许多各种各样的宏，以区分不同Pass、功能、Feature Level和质量等级的分支代码。在C++层，为了方便扩展、设置这些宏定义的开启及不同的值，UE采用了着色器排列（Shader Permutation）的概念。

每一个排列包含着一个唯一的哈希键值，将这组排列的值填充到HLSL，编译出对应的着色器代码。下面分析着色器排列的核心类型的定义：

看上面的模板和宏定义是不是有点懵、不知所以然？没关系，结合FDeferredLightPS的使用案例，会发现着色器排列其实很简单：

由此可知，着色器排列本质上只是一组拥有不定维度的键值，在编译shader阶段，shader编译器会尽量为每个不同的排列生成对应的shader实例代码，当然也可以通过ShouldCompilePermutation排除掉部分无意义的排列。预编译好的所有shader存放于视图的ShaderMap中。每个维度的键值可在运行时动态生成，然后用它们组合成的排列域去视图的ShaderMap获取对应的编译好的shader代码，从而进行后续的着色器数据设置和渲染。

另外，值得一提的是，排列维度父类的名词（如LIGHT_SOURCE_SHAPE, USE_SOURCE_TEXTURE, USE_IES_PROFILE, ...）就是在HLSL代码中的宏名称。比如FSourceShapeDim正是控制着HLSL代码的LIGHT_SOURCE_SHAPE，根据FSourceShapeDim的值会选用不同片段的代码，从而控制不同版本和分支的shader代码。

8.3 Shader机制

本章主要分析Shader的部分底层机制，比如Shader Map的存储机制，Shader的编译和缓存策略等。

8.3.1 Shader Map

ShaderMap是存储编译后的shader代码，分为FGlobalShaderMap、FMaterialShaderMap、FMeshMaterialShaderMap三种类型。

8.3.1.1 FShaderMapBase

本小节先阐述Shader Map相关的基础类型和概念，如下：

上面的很多类型是基类，具体的逻辑需要由子类完成。

8.3.1.2 FGlobalShaderMap

FGlobalShaderMap保存并管理着所有编译好的FGlobalShader代码，它的定义和相关类型如下所示：

上面涉及到了ShaderMap的Content、Section、PointerTable、ShaderType等等方面的类型和概念，数据多，关系复杂，不过抽象成UML图之后就简单明了多了：

以上类图为了简明，只展示了继承关系，若是添加关联、聚合、组合等关系之后，则是以下的模样：

上面阐述完了FGlobalShaderMap及其核心类的关联，下面再看看它是任何被应用到实际渲染中的。首先是在GlobalShader.h和GlobalShader.cpp声明和定义了FGlobalShaderMap的实例和相关接口：

不过上面只是定义了GGlobalShaderMap，数组内只是一个空的列表，真正的创建堆栈链如下所示：