Games101 着色

Shading

着色

将物体投影到屏幕后,渲染物体本身的表面光学性质


到目前为止所学的内容
Lecture 01-06

  1. 在空间中定位物体和相机(坐标)
  2. 计算物体与相机间的位置关系
  3. 将物体投影至平面
  4. 采样三角形覆盖区域进行光栅化
  • 变换
    • 模型
    • 视角
    • 投影
  • 光栅化

Lecture 7 (Illumination, Shading and Graphics Pipline)

Undefined control sequence \bm

最基础的着色模型:Blinn-Phong Reflectance Model(Blinn-Phong 反射模型)
高光,环境光,漫反射
是一种经验模型

计算在一个shading point着色点射向相机的反射光线

输入:

  • Viewer direction, v 观测方向
  • Surface normal, n 平面法线方向
  • Light direction, l (for each of many lights) 光照方向
  • Surface parameters (color, shininess…) 表面属性
    对于以上方向都定义为单位向量

着色是局部的,仅关注被着色物体,而不考虑其他物体的存在,仅展现在该物体的表面属性下产生的着色结果,不会产生阴影

漫反射 Diffuse Reflection

  1. 光反射能量定律

    光照在平面的能量由Lambert’s cosine Law指出

    平面接收到的能量与该平面法线方向和光照方向的夹角的余弦成正比

  2. 光传播能量定律
    点光源
    对于光源产生的能量都集中在一个球壳上,由于在一定时刻发出的光能是一定的,由于能量守恒,离点光源的距离越远,该球壳上单位面积的光强越小( )

    即,光线在传播中的能量与传播距离的平方成反比

得出以下方程:

漫反射光线 = 漫反射系数 * (到达该着色平面的光线能量) * 物体表面该点反射的能量(该值大于等于0)

漫反射的效果与观察方向毫无关系,因为漫反射向四周散射的光线的信息都是一样的
光源位置不变,物体位置不变,则l与n的方向不变,那么从不同方向看向同一点,其亮度相同

高光

高光处类似镜面反射
高光与观察方向有关
当高光经法线反射后,与视线方向接近,则产生高光
通过向量点乘,判断向量间的角度关系

在Blinn-Phong模型中当观察方向 接近镜面方向时,法线方向 与半程向量 很接近
(半程向量 : )
这是由于,镜面反射其反射角与入射角相等, 在 与 的角平分线上

有以下方程关系:

其中,指数 在该模型中一般取用 >= 100 的值

镜面反射光线 = 镜面反射系数 * (到达该着色平面的光线能量) * 物体表面该点镜面反射的能量(该值大于0)
其中的指数 可以控制高光区的大小,高光区的可视角度,

在该模型上未考虑镜面所吸收的能量,Blinn-Phong模型是一个经验模型,对该情况有所简化

环境光照

认为所有着色点接收到的环境光的大小都是相同的
有以下方程描述:

环境光照 = 环境光系数 * 环境光光照强度

环境光是一个常数,与观测角度,光源位置无关,保证了所有地方都不为黑色
是全局光照的简化

Blinn-Phong反射模型 = 环境光照(Ambient) + 漫反射光(Diffuse) + 镜面反射光(Specular)


Lecture 8 着色频率 Shading Frepuencies

着色频率,即是应用于每个面的着色量

有以下三种方式:

  1. Flat shading 三角平面着色
    • 三角形面是平坦的,仅一个法向
    • 对于平滑表面不友好
  2. Gouraud shading 顶点插值着色
    • 所有的顶点具有其法向
    • 使用三角形的三个顶点,对该三角形平面进行插值计算
  3. Phong shading 逐个像素的插值着色
    • 对三角形内的每个像素进行一次插值着色
    • Blinn-Phong着色模型与Phong shading(是一种着色频率)不是相同的内容,但是是同一个人

由于插值的存在,对于面数越多的对象,可以用越简单的着色频率展现不差于其他复杂着色频率的效果

逐个顶点的法线

对于一个球体,其顶点的法线,是从球心到顶点的方向

对于某个顶点的法线,可以视作是对其相关联的三角形面法线和的平均 (根据三角形的面积进行加权平均)


Graphics (Real-time Rendering) Pipline 图形管线

将前面课程所述的内容进行整合,就可以称为图形管线
或实时渲染管线

  • Inputs: 三维空间中的点
  1. Vertex Processing
    • Vertex Stream
    • 顶点在屏幕上的位置
  2. Triangle Processing
    • Triangle Stream
    • 三角形在屏幕上的位置
  3. Rasterization
    • Fragment Stream
    • 将三角形离散化,光栅化(像素化)
  4. Fragment Processing
    • Shaded Fragments
    • 将各个离散像素(片段)进行着色
  5. Framebuffer Operation
  • Display
    • 输出图像

shader即是操作顶点与像素进行着色的工具,如GLSL
shader的代码是交由可编程硬件的,对于各个像素点通用的代码,对于每个像素执行一遍


Lecture 9 Textrue mapping 纹理映射

定义任何一个点的基本属性
定义着色时各个不同点的属性
不同的材质就是不同的着色方法

任何一个三维图形的表面都是二维图形

纹理是一张三维物体表面相对应的二维图
是着色时应用于该顶点的属性

对于三角形的每个顶点都有一个在纹理贴图上的坐标对应,通常会使用**uv, (u,v)**坐标来指示纹理贴图的坐标,(u[0,1], v[0,1])

在三角形内部的各个像素也需要使用插值进行纹理的附加

Barycentric coordinate 重心坐标
可用于在三角形内根据顶点属性进行插值

重心坐标是定义在三角形上的:在三角形ABC所形成的平面内任何一点 都可以表示成三个顶点A B C的线性组合

该式得出三角形所在平面上的任意一个点,当 时,表示在三角形内的点

该点的坐标可以由其产生的三个三角形的面积比得到,与各个顶点对底的三角形占主三角形的面积比例,就是线性组合中,该点所需的系数

三角形面积

如此,就可以将三角形的三个顶点的属性作为输入,对三角形内部的各个像素进行插值处理

其中, 可以是附加在三角形顶点上的任意属性

但是,重心坐标在投影下应用不能保证效果不变
即,若想对三维空间下的属性进行插值,就需要取用三维空间中的坐标,而不能在投影后的三角形中进行插值(如,深度信息会被破坏)
三维空间中的属性在三维空间中做插值,不能在投影到屏幕后再插值(需要逆变换)

Applying Textures

应用贴图

屏幕上的任意一个采样点,都与一个贴图坐标相对应,可以得知该位置插值后得到的对应的uv坐标
可以在纹理贴图中查询该 (u,v) 的值(texcolor = texture.sample(u,v)),随时使用该纹理属性

会产生以下问题:

Texture Magnification

纹理放大

在处理贴图时,若目标区域超过uv纹理的清晰度(像素大小),会产生明显的像素点。即,多个 pixel 被映射到相同的 texel

纹理上的像素称为: texel 纹理元素

以上的问题是由于多个pixel被映射到同一个*texel上

Bilinear interpolation 双线性插值

类似于重心坐标的思想,将pixel映射到uv贴图的坐标位置处的点,与周围四个texel的中心围成的矩形,计算该点在此平面上的浮点偏移坐标 (s,t) (即,两个相邻texel之间的距离为1.00)

定义一个称为 线性插值 Linear interpolation (Lerp) 的操作:

可以对两对组成平行线的texel中心进行以上插值,待求的pixel映射点在这两条平行线上相对应的插值点的连线上,再对这两点应用以上插值公式,将pixel映射点插入该公式

如下:

该映射点的属性考虑到周围四点的属性,以达到平滑过渡到效果,相较于Nearest更优

比如,现有一二维平面上的两点,采用插值方法,求解两点间线段上的某点的属性:

所在直线的方程:若在线段上由此可以得到的二维坐标并求解点处的属性值对于双线性插值法(),即是选择一个点周围临近的四个点,进行三次线性插值,从而求得待定点属性状态

进行插值运算,即会带来更高的运行时开销

纹理过大

会产生锯齿与摩尔纹(类似于采样问题)

在近处,一个pixel与texel呈现一/多对一的情况;在远处,一个pixel覆盖多个texel
由此,若纹理过大/过于精细,最极端情况会导致所有的pixel都覆盖多个texel
可以对纹理采取与反走样技术类似的方式,将一个pixel作为多个texel的采样点进行卷积处理(类似于MSAA超采样抗锯齿)

实际上仍然是 texel 变化过快,进行采样的 pixel 无法真正的考虑到材质的变化

在此处,我们考虑是否可以避免pixel向texel进行类似采样的处理的出现,直接得知该处的平均值

这是一个范围查询问题(Range Query)

对应的有点查询问题(Point Query)

此处,引入Mipmap进行范围查询

允许 快速的、不准确的(近似的)、方形的 范围查询

可以先将高品质纹理处理为多级的低分辨率的纹理,在需要时使用

令的材质质量大小为(或)():():():最终的拼接材质的大小为:

存储时,由于层叠的各质量材质很像一个金字塔,所以也被称为:Image Pyramid

Level 0 为原始图像
此时需要的存储为原来图像的4/3倍,仅需要额外的1/3的存储空间
虽然公式算出来是 倍,但实际上显卡驱动可能会因为内存对齐(Aligment)或压缩格式(如 BCn 格式)的原因,导致实际占用略高于这个理论值。

处理时,可以考虑周边的pixel所对应的texel的位置,以估计该pixel概括了多少texel从而选择不同品质的uv贴图

若我们在处理Mipmap进行分层时根据,各层为上层的一半(1/4面积),可以看出 为选择贴图品质的依据

即,计算 pixel 所能对应的 texel 数量,进行 Mipmap 分层选择

经过以上处理,仍会产生选用的各个不同品质的纹理在同一个表面 过度不均匀 的问题
可以先在参与过度的两层中进行 Bilinear interpolation 插值求层内过度属性 ,最后在 层与层之间 进行插值求层间过度属性,即三线性插值(Trilinear filtering)

但是,在远处会出现Overblur的问题,导致远处贴图 过于模糊 ,这是由于,Mipmap适用于正方形区域

Anisotropic Filtering 各向异性过滤可以部分缓解该问题,保留远处的部分细节(即,在不同方向表现不同,具有对不同的方向性的支持)提供了矩形查询但是对于不规则形状仍有欠缺

Ripmap 收敛到原图存储的4倍,增加了额外的3倍空间(但是仅仅占用更高的显存,几乎不对计算性能造成大影响)
可以处理轴向压缩的区域(长条形区域)
但是,其仅解决了对于矩形区域的查询,但是对于长形的不规则区域的支持极为有限

其他方法:

  • EWA Filtering

纹理的应用

在现代GPU中,可以理解为 texture = memory + range query(filtering) 即,内存与范围查询,是内存中的一块数据

环境光照只记录方向信息,认为光源无限远无深度意义
可以将环境光照记录在球上(Spherical Map),但是会出现扭曲问题
也可以将环境光照记录在立方体上(Qube Map),用以减小扭曲问题
纹理可以影响渲染

  • Environment Map 环境光映射
  • Cube Map 立方体映射 (描述来自不同方向的环境光)
  • Bump/Normal Map 凹凸/法线贴图 可以在保证简单的几何形体的情况下,可以在贴图上定义几何形体表面的凹凸关系,可以给出表面细节的各种复杂的法线或相对高度设定,表现精细化的形体(假法线,在边缘仍是原模型形态,没有自投影的计算。没有改变几何)
  • Displacement Map 位移贴图 与凹凸贴图类似,定义了贴图表面的起伏信息,位移贴图实际上会将原实体的各个顶点进行真正的移动(凹凸贴图并不会更改原实体的形体),但是需要使实体中定义的顶点比贴图的顶点定义更加细节(改变了几何,要求模型足够精细,模型顶点频率要高于uv贴图)
  • 三维纹理 可以对空间进行纹理设定

可以混合环境光遮蔽的功能


第一阶段 光栅化 结束

END