3D to H5工作流應用手冊 [理論篇] ｜騰訊ISUX

設計師需求中3D視覺平移到互動H5中的項目越來越多，three.js和PBR工作流的結合卻一直沒有被系統(tǒng)化地整理。

和各位前端神仙一起做項目，也一起磕磕碰碰出了愛與痛的領悟。小小總結，希望3D去往H5的道路天塹變通途。

本手冊主要分為兩大部分：

Part 1 理論篇：主要讓設計師了解計算機到底是如何理解和實時渲染我們設計的3D項目，以及three.js材質和預期材質的對應關系。

Part 2 實踐篇：基于three.js的實現(xiàn)性，提供場景、材質貼圖的制作思路、以及gltf工作流，并動態(tài)討論項目常常遇到的還原問題。

本文主要for剛接觸3D圖形學的設計師，僅截取了最常用的理論知識和大家一起學習。

部分涉及技術美術或計算機圖形學的描述可能不甚嚴謹，希望大家多多交流討論哈。

其實無論H5開發(fā)用到的是哪種webGL，設計相關的材質制作基本還是基于PBR思路進行的，所以這邊建議各位親可以先去閱讀一下Substance官方寶冊《The PBR Guide》。

理論篇

設計師在還原3D類型的互動H5項目的時候一定想過這個宇宙終極問題：為什么H5/Web實現(xiàn)的3D效果和C4D里渲染出來的差異那么大？

其實這是我們對實時渲染引擎（UE、Unity、three.js等）和離線渲染工具（Redshift、Octane、Vray等）的差異存在誤解：一是離線渲染工具是基于真實光照環(huán)境來計算每顆像素的著色，實時渲染如果要實現(xiàn)這種效果需要耗費更多硬件基礎和算力去模擬光照（沒個好顯卡都開不動光追）。

雖然UE5的實時渲染技術和硬件兼容性已經(jīng)讓大家大吃一驚，但在實際項目，尤其是需要兼容低端設備的H5來說，渲染能力還是相對有限的。二是對于游戲或H5互動網(wǎng)站實際應用來說，流暢的互動體驗優(yōu)先級往往高于畫面精細度，所以犧牲視覺保性能也是常見情況。

當實時渲染效果與設計預期差距過大時，設計師能多了解一些基礎的計算機圖形學，也許就能更好地和開發(fā)同學商討性價比更高的視覺實現(xiàn)和資源優(yōu)化方案（以及更多Battle的籌碼）。

1. 著色器與著色算法差異（靴靴微硬核預警）

首先我們要知道計算機之所以能在2D屏幕上畫出3D的圖像，是因為有著色器（Shader）在繪制，它將我們三維空間里的模型與光照信息進行轉換，并光柵化為二維圖像。在計算機圖形學中，著色器是用于對圖像的材質（光照、亮度、顏色）進行處理的程式。

常用的著色器分為四種：像素/片元著色器（Pixel/Fragment Shader）、頂點著色器（Vertex Shader）、幾何著色器（Geometry Shader）、細分曲面著色器（Tessellation Shader）。

像素/片元著色器與頂點著色器（Vertex Shader）在webGL處理過程中都有使用，頂點著色器先將模型中每個頂點的位置、紋理坐標、顏色等信息進行轉換裝配，再由片元著色器對3D信息光柵化并轉換成2D屏幕信息。（關于著色器差異，感興趣的同學可以直接跳到附錄查看。）

著色器是怎么把頂點中所帶有光照、紋理等信息轉換并重建在二維圖像的像素中呢？GPU中是透過不同的著色算法來實現(xiàn)的。

一種是獲取每個三角形的插值（Interpolate）來實現(xiàn)，這種方法稱作Per Vertex Lighting，但是當三角型很大的時候，插值往往不夠精準。此時還可以引用另一種方法Per Pixel Lighting，計算每個像素的光照信息，獲得更好的渲染效果，但是往往也帶來更大的計算量。

一般常見計算機圖形著色算法有三類：Flat Shading、Gouraud Shading、Phong Shading。這些算法雖然看起來和我們設計師沒啥關系，但事實上在后面了解three.js材質時，就會發(fā)現(xiàn)他們在呈現(xiàn)時的差異。

1）平直著色法 Flat Shading

這種著色法認為模型中所有面都是平的，同一個多邊形的上任意點的法線方向都相同。著色時，會優(yōu)先選擇多邊形的第一個頂點或三角形的幾何中心計算顏色。這種著色法實踐上的效果很像低面模型，也比較適合使用在高速渲染的場景。值得注意的是，這種著色法難以做出平滑高光效果。

2）高洛德平滑著色法 Gouraud Shading

這是一種平滑的著色方法，在著色時會先計算三角形每個頂點的光照特性，利用雙線插值去補齊三角形區(qū)域內其他像素的顏色。這個著色法的比起平直著色法增加了插值的細節(jié)，而且也比Phong著色法渲染單個像素的光照特性的性能要高。

但是在渲染高光時，可能會因為無法獲取精確的光照值而出現(xiàn)一些不自然的過渡（或T型連接容易被錯誤繪制），此時可以考慮對模型進行細分或使用漫反射材質。

3）Phong平滑著色法 Phong Shading

與Gouraud Shading不同的是，它會對頂點的法線進行插值，并透過每個像素的法向量計算光照特性。這種做法能繪制出精致、精準的曲面，但是計算量較大。Blinn-Phong是Phong的進階版，著色性能更好，且高光彌散更自然。

2. 基本光照模型 Illumination Model

簡單了解計算機如何繪制3D圖形后，再來看看它要如何具體理解我們所設計的3D場景。

3D轉換成2D，也就是3D柵格化的過程中，每一個像素的顏色是需要基于它所在的環(huán)境計算出來，而基于被渲染物體表面某個點的光強度計算模型就被稱為光照明模型（Illumination Model）或光照模型（Light Model），透過計算光照模型所得到表面位置對應像素顏色的過程被稱為表面繪制（Surface Render）。

*請注意這里說的光照模型并不是指設計師理解的3D立體模型，而是指模型對象表面光照效果的數(shù)學計算模型。

影響光照模型的因素有兩大方面，一是本身給渲染物體材質設置的各種光學特性（顏色反射系數(shù)、表面紋理、透明度等），二是場景中光源光及環(huán)境光（場景中各個被照明對象的反射光）。

傳統(tǒng)光照模型都是對漫反射和鏡面反射的理想化模擬，如果要還原基于真實物理世界的效果，光照模型需要遵循能量守恒定律：一個物體能反射的光必然少于它接受的光。在實踐層面則表現(xiàn)為，一個漫反射更強且更粗糙的物體會反射更暗且范圍更大的高光，反之亦反。

光照模型與著色組合在不同的渲染需求下也會有不同的應用：

• 真實感渲染（Photorealistic Rendering）：目的是基于真實物理世界對3D場景進行仿真還原。
• 非真實感渲染（Unphotorealistic Rendering）：也被成為風格化渲染（Stylistic Rendering），會更抽象化地對模型進行重繪。

1）真實感渲染 Photorealistic Rendering

考慮到真實感渲染對硬件的依賴，目前webGL中使用的一般以簡單的局部光照模型為主（只計算光源對物體的光照效果，不計算物體間的相互影響，我們看到的“假反射”通常透過貼圖來進行模擬），根據(jù)反射形態(tài)，經(jīng)典的光照模型有下列幾種：

Lambert 漫反射模型：

這種模型的粗糙表面（如塑料、石材等）會將反射光從各個方向反射出去，而這種光反射也稱為漫反射。理想的漫反射體我們通常稱作郎伯反射體（Lambertian Reflectors），也就是我們熟悉的橡膠材質。

Phong 鏡面反射模型：

這是一種以實驗及觀察為合成基礎的非物理模型。它的表面反射同時結合了粗糙表面漫反射和光滑表面鏡面反射，但Phong模型在高光處的表現(xiàn)有過渡瑕疵。

Blinn–Phong 模型：

是在OpenGL和Direct3D里默認的著色模型，一種調優(yōu)后的非物理的Phong模型，頂點間的像素插值使用Gouraud著色算法，比Phong著色算法性能更好，而且高光效果也更平滑。

Cook-Torrance/GGX 光照模型：

如果你用過C4D的默認渲染器，那么一定在材質的反射通道設置中見過它倆。

這是相對高級的光照模型，不同于Phong和Blinn-Phong模型僅僅對漫反射及鏡面反射進行理想化模擬，這兩個光照模型基于不同物理材質加入了微表面（Microfacet）的概念，并考慮到表面粗糙度對反射的影響，對鏡面反射進行了調優(yōu)，使得高光的長尾彌散更加自然，也是目前PBR渲染管線（Unity、UE）中較常用的光照模型。

次表面散射模型 Subsurface scattering/SSS：

終于有一個設計師們常見的概念了。次表面散射是指光穿透不透明物體時（皮膚、液體、毛玻璃等）的散射現(xiàn)象?，F(xiàn)實生活中，大部分物體都是半透明的，光會先穿透物體表面，繼而在物體內被吸收、多次反射、然后在不同的點穿出物體。以皮膚為例，只有大概6%的反射是直接反射，而94%的反射都是次表面散射。

BSSRDF（雙向次表面反射分布函數(shù)）是用于描述入射光在介質內部的光照模型，目前也被應用在最新的虛擬角色皮膚實時渲染中；但由于SSS材質的計算需要依賴深度/厚度數(shù)據(jù)，所以webGL對這種高級光照效果的還原程度還是相對有限的。

2）非真實感渲染 Non-Photorealistic Rendering-NPR

也就是我們常說的3渲2，非寫實渲染風格也是從人們對3D場景套以2D繪畫或自然媒體材質需求而演化過來的。因此非寫實渲染技術實際上是不同光照模型+不同著色處理共同作用的風格化輸出，目前也被大量應用在動畫及游戲中，像《英雄聯(lián)盟：雙城之戰(zhàn)》《蜘蛛俠：平行宇宙》都是頂級三渲二大作。

Cel Shading/Toon Shading：

卡通著色，一種最常見的以3D技術模擬扁平風格的著色形式，通常以極簡的顏色、漸變及明確的外框線等漫畫元素作為風格特征。

日本創(chuàng)意編程師Misaki Nakano制作了一個非常有趣的Toon Shading H5互動頁面，大家可以體驗一下不同著色形態(tài)下非常模型的視覺表現(xiàn)。搜索體驗：https://mnmxmx.github.io/toon-shading/dst/index.html

Customized Shading：

目前越來越多渲染器可支持設計師及工程師根據(jù)項目需求對著色進行定制化處理，以產(chǎn)出更具風格化和藝術化的著色效果。例如工業(yè)界插畫常用的冷暖著色（Gooch Shading），以及更具繪畫質感的素描著色（Hatching）及油畫水墨畫等自然媒體著色，都已經(jīng)深入到了我們日常的創(chuàng)作之中。

3. Three.js 材質著色對比

說完真實感與非真實感渲染差異后，我們再來看看Three.js中的材質。

和許多渲染引擎一樣，除了原生材質外，webGL的材質和著色都是可以根據(jù)需求進行定制的，但這往往會也帶來較高的開發(fā)成本及兼容性風險?？紤]到H5項目的實際應用場景，下表羅列了Three.js原生材質的對比，包含了材質特性優(yōu)勢、貼圖差異及適用場景，大家可以基于項目需求快速選擇并混合使用：

4. 色彩描述與管理 Color Space

雖然著色、光照模型以及材質渲染對3D表現(xiàn)有著最為直觀的影響，但3D工作流仍有一個隱秘而關鍵的環(huán)節(jié)——色彩管理。

真實世界中按照物理定律，如果光的強度增加一倍，那么亮度也會增加一倍，這是線性的關系。理想狀態(tài)下，像素在顯示屏上的亮度也應為線性關系，才能符合人眼對真實世界的觀察效果（如圖b：橫坐標為像素的物理亮度，縱坐標為像素顯示時的實際亮度）。

但是顯示器的成像由于電壓的影響，導致輸出亮度與電壓的關系是一個亮度等于電壓的1.7-2.3次冪的非線性關系，這就導致了當電壓線性變化時，亮度的變化在暗處轉換時變慢，如果顯示器不經(jīng)過矯正，暗部成色也會整體偏暗（如圖c）。目前大多數(shù)顯示器的Gamma值約為2.2，所以也可以理解Gamma2.2是所有顯示器自帶的一個遺傳病。

• 紅色上曲線=Gamma0.45=sRGB Space
• 綠色下曲線=Gamma2.2=顯示器真實成像缺陷
• 藍色斜線=Gamma1.0=Linear Space 真實物理世界線性關系

為了矯正顯示器的非線性問題（從圖c校正回圖b），我們需要對它進行一個2.2次冪的逆運算（如圖a），在數(shù)學上，這是一個約0.45的冪運算（Gamma0.45）。經(jīng)過0.45冪運算，再由顯示器經(jīng)過2.2次冪輸出，最后的顏色就和實際物理空間的一致了，這套校正的操作就是伽馬校正（Gamma Correction）。

而我們常見的sRGB就是Gamma0.45所在的色彩空間，是1996由微軟與惠普共同開發(fā)的標準色彩空間。當照片素材一開始儲存成sRGB空間，相當于自帶一個Gamma0.45的遺傳病抗體，當它被顯示器顯示時，就自動中和了顯示器Gamma2.2的缺陷，從而顯示出與物理世界相符的亮度。

另一個校正原因是因為人眼在接受光線時的敏感度也不是線性的，人對于暗部的感知更敏感，對高亮區(qū)域感知較弱，而且人眼感知光強度與光的物理強度也剛好是對數(shù)關系。為了在暗部呈現(xiàn)更多人眼可感知的細節(jié)，Gamma0.45的色彩空間中（如圖a），像素的實際亮度也會高于它的物理亮度。

上面那一大段確實有點繞，但也就說回來為什么建議渲染時使用線性空間（Linear Space）了。因為在計算機圖形中，著色器的運算基本上都是基于物理世界的光照模型來保證渲染真實性的，如果模型的紋理輸入值是非線性的（sRGB），那么運算的前提就不統(tǒng)一，輸出的結果自然就不那么真實了。

而在大多數(shù)工作流及渲染軟件中，大部分貼圖資源都是默認輸出sRGB的（設計師作圖環(huán)境一般也在sRGB，所見即所得），而法線貼圖、光線貼圖等紋理（純數(shù)值類紋理，只用于計算）又是Linear的，這個部分就需要我們根據(jù)渲染引擎本身的特性，來判斷是否需要對不同的貼圖進行不同的”去Gamma化”處理了（WebGL、Unity、Octane等）。

將所有貼圖進行去Gamma化，統(tǒng)一為Linear空間后，再在渲染輸出時由引擎統(tǒng)一進行Gamma校正，這個時候在顯示屏里顯示的就是接近真實世界的效果了。

回到H5所用的Three.js，它的著色器計算也是默認在Linear空間，如果最終渲染時不轉化為sRGB，在設備顯示時可能會造成色彩失真。在three.js中色彩管理的工作流會根據(jù)導入模型Asset的差異而有所不同，如果貼圖與模型是分別導入場景，則建議可嘗試以下流程：

1）輸入貼圖數(shù)據(jù) sRGB to Linear: 含色彩的貼圖（基礎材質、環(huán)境、發(fā)光）設編碼為sRGB（texture.encoding = sRGBEncoding），或將渲染設置renderer.gammaInput設為True，可將原為sRGB的貼圖轉換為Linear，而原純數(shù)值類貼圖（法線、凹凸等）仍舊保持Linear；這一操作可保證貼圖輸入數(shù)據(jù)的正確性與統(tǒng)一性。

2）刷新材質：當材質編碼類型被修改后，需要設置Material.needsUpdate為True，以重新編譯材質。

3）輸出渲染 Linear to sRGB: 校正渲染輸出值的Gamma：renderer.gammaOutput = true; renderer.gammaFactor = 2.2；以供顯示屏正確顯色。

《Part1-理論篇》就先告一段落啦，如果你偶發(fā)失眠，建議可以反復咀嚼延伸閱讀的內容。

《Part2-實踐篇》會繼續(xù)完善three.js場景、材質貼圖的制作思路、以及gltf工作流，并動態(tài)討論項目常常遇到的還原問題。

2022，咱們需求再見。

附錄

1）著色器差異

① 像素著色器 Pixel Shader

也稱為片元/片段著色器（Fragment Shader）, 為二維著色器。它記錄了每一個像素的顏色、深度、透明度信息。最簡單的像素著色器可用于記錄顏色，像素著色器通常使用相同的色階來表示光照屬性，以實現(xiàn)凹凸、陰影、高光、透明度等貼圖。同時，他們也可以用來修改每個像素的深度（Z-buffering）。

但是在3D圖像中，像素著色器可能無法實現(xiàn)一些復雜的效果，因為它只能控制獨立的像素而并不含有場景中模型的頂點信息。不過，像素著色器擁有屏幕的坐標信息，可以依據(jù)屏幕或鄰近像素的的材質進行采樣并增強，例如，Cel Shader的邊緣強化或一些后期的模糊效果。

② 頂點著色器 Vextex Shader

是最常見的3D著色器，他記錄了模型每個頂點的位置、紋理坐標、顏色等信息。它將每個頂點的3D位置信息轉換成2D屏幕坐標。頂點著色器可以處理位置、顏色、紋理的坐標，但是無法增加新的頂點。

③ 幾何著色器 Geometry Shader

是最近新興的著色器，在Direct3D 10 和Open GL3.2中被引用。這種著色器可以在圖元外生成新的頂點，從而轉換成新的圖元（例如點、線、三角等），而優(yōu)勢也是在于可以直接在著色中增加模型細節(jié)，減低CPU負擔。集合著色器的常用場景包括點精靈（Point Sprite）生成（粒子動畫），細分曲面，體積陰影等。

④ 細分曲面著色器 Tessellation Shader

在OpenGL4.0和 Direct3D 11中出現(xiàn)，它可以在圖元內鑲嵌更多三角體。為傳統(tǒng)模型新增了兩個著色步驟（一是細分控制著色，又稱為Hull Shader，二是細分評估著色，又稱為Domain Shader），兩者結合可以讓簡單的模型快速獲得細分曲面。（例如，含細分曲面效果的模型加上置換貼圖就可以獲得極其逼真細膩的模型）

2）一些術語的簡單理解

GL：Graphics Library, 圖形函數(shù)庫。

webGL：Web Graphics Library，Html 5可接入的3D繪圖協(xié)議/函數(shù)庫，可以為H5 Canvas提供3D渲染的各類API。

Z-Buffering：

深度緩沖，3D圖像在渲物體的時候，每一個生成的像素的深度會存儲在緩沖區(qū)中。如果另一個物體也在同一個像素中產(chǎn)生渲染結果，那么GPU會比較兩個物體的深度，優(yōu)先渲染距離更近的物體，這個過程叫做Z-Culling。當兩個物體靠很近的時候（16-bit），可能會出現(xiàn)Z-Fighting，也就是交疊閃爍的現(xiàn)象，使用24或32bit的Buffer可以有效緩解。

Rendering Pipeline：

渲染管線/渲染流水線/像素流水線，為GPU的處理工作流，是GPU負責給圖形配上顏色的專門通道。管線越多，畫面越流暢精美。

Rasterization：

光柵化/點陣化/柵格化，就是將管線處理完的圖元轉換成一系列屏幕可視的像素，過程包括：圖元拼裝（Primitive assembly）-三角形遍歷（Triangle Traversal）- Pixel Processing-Merging。

3）參考文獻+延伸閱讀

[1]Hearn, D. and Baker, M.P., 2004. Computer graphics with OpenGL, 計算機圖形學第四版 . Upper Saddle River, NJ: Pearson Prentice Hall,.

[2]Akenine-M?ller, T., Haines, E. and Hoffman, N., 2019.Real-time rendering. Crc Press.

[3]銳萌瑞, 經(jīng)典光照模型（illumination model）

https://blog.csdn.net/qq_34552886/article/details/79089418

[4]Krishnaswamy, A; Baronoski, GVG (2004). “A Biophysically-based Spectral Model of Light Interaction with Human Skin” (PDF).

[5] List of Common Shading Algorithm：

https://en.wikipedia.org/wiki/List_of_common_shading_algorithms

[6] 0向往0, 剖析Unreal Engine超真實人類的渲染技術Part 1 – 概述和皮膚渲染

https://www.cnblogs.com/timlly/p/11098212.html

[7] 毛星云, 【《Real-Time Rendering 3rd》 提煉總結】(十) 第十一章 · 非真實感渲染(NPR)相關技術總結

https://zhuanlan.zhihu.com/p/31194204

[8] 卜噪大仙，局部光照模型雜記【Lambert/Phong/Blin-Phong/BRDF/BSSRDF/Cook-Torrance】

https://www.jianshu.com/p/96ca495669d6

[9] puppet_masterm, Unity Shader-Matcap（材質捕獲）

https://blog.csdn.net/puppet_master/article/details/83582477

[10] WestLangley, documentation on gamma correction incorrect? #11110

https://github.com/mrdoob/three.js/issues/11110

[11] donmccurdy, Best practise for color management

https://github.com/aframevr/aframe/issues/3509

https://github.com/mrdoob/three.js/issues/11337#issuecomment-440795075

[12] alteredq, Questions about the use of Gamma Correction in the WebGL Renderer #1488

https://github.com/mrdoob/three.js/issues/1488

[13] Friksel, What’s this about gammaFactor?

https://discourse.threejs.org/t/whats-this-about-gammafactor/4264/3

[14] PZZZB，Linear Space Lightning、Gamma、sRGB詳情講解：

https://zhuanlan.zhihu.com/p/66558476

[15] Learn OpenGL, Gamma Correction

https://learnopengl.com/Advanced-Lighting/Gamma-Correction

[16] 柯靈杰，3D圖形學基礎：

https://zhuanlan.zhihu.com/p/27846162?source=post_page—–b1cde1f23adf———————-

[17] Klayge游戲引擎，關于D3D11你必須了解的幾件事情（三）

關于D3D11，你必須了解的幾件事情（三）：完結篇

[18] 拓荒犬, GPU渲染流水線簡介

https://zhuanlan.zhihu.com/p/61949898

[19] Steve Baker, Learning to Love your Z-buffer.

https://www.sjbaker.org/steve/omniv/love_your_z_buffer.html

[20] Steve Baker, Alpha-blending and the Z-buffer.

https://www.sjbaker.org/steve/omniv/alpha_sorting.html

[21] Microsoft, Direct3D 11 Graphics-Tessellation Stages

https://docs.microsoft.com/en-us/windows/win32/direct3d11/direct3d-11-advanced-stages-tessellation#domain-shader-stage

[F1] Stefano Scheggi, Flat shading vs. Gouraud shading vs. Blinn-Phong shading

https://www.youtube.com/watch?v=VRw3GuVdldo

[F2] Joe Wilson, Physically-Based Rendering, And You Can Too!

[F3] Autodesk, Apply Visual Effects

https://download.autodesk.com/us/mudbox/help2011_5/index.html?url=./files/WS1a9193826455f5ff5cf1d02511b1d000978-6b44.htm,topicNumber=d0e8759

[F4] Virocore, Lighting and Materials

https://virocore.viromedia.com/v1.0.0/docs/3d-scene-lighting

[F5] Wikipedia, Phong Reflection Model

https://en.wikipedia.org/wiki/Phong_reflection_model

[F6] Wikipedia, Blinn–Phong reflection model

https://en.wikipedia.org/wiki/Blinn%E2%80%93Phong_reflection_model#cite_note-4

[F7] Ridgestd，從Microfacet到GGX反射模型

http://ridgestd.github.io/2019/03/18/ggx-shader/

[F8] Alan Zucconi, Fast Subsurface Scattering in Unity (Part 2)

https://www.alanzucconi.com/tag/sss/

[F9] Polygon Runway, Toon Shading Tutorial for Blender 2.8 with Commentary

https://www.youtube.com/watch?v=kriKwtzZWFg

[F10] Blendernpr, Basic Toon Shaders with Blender

]http://blendernpr.org/basic-toon-shaders-with-blender-internal/

[F11] 鄧佳笛，在Unity進行水墨風3D渲染的嘗試

https://zhuanlan.zhihu.com/p/25346977

[F12] Wikipedia, Graphics_pipeline

https://en.wikipedia.org/wiki/Graphics_pipeline