話說深度學(xué)習(xí)CTR預(yù)估模型怎么成為了互聯(lián)網(wǎng)增長的關(guān)鍵

開篇伊始，有兩個問題是應(yīng)該澄清的，一是該專欄的主題選擇，二是該專欄的目標(biāo)受眾。

為什么著重講深度 CTR 模型這個主題？ 除了跟我的計算廣告、推薦系統(tǒng)的背景有關(guān)之外，更重要的是 CTR 預(yù)估模型以及 CTR 預(yù)估模型衍生出的泛效果預(yù)測的模型，已經(jīng)成為了互聯(lián)網(wǎng)當(dāng)之無愧的“增長之心”。自 2012 年以來，站在 Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio 等巨人肩膀上的 Alex Krizhevsky 憑借 AlexNet 一舉引爆新一輪的深度學(xué)習(xí)浪潮以來，深度學(xué)習(xí)席卷各個計算機應(yīng)用領(lǐng)域，作為廣告、搜索、推薦業(yè)務(wù)核心的 CTR 預(yù)估模型也借助深度學(xué)習(xí)得到效果上的顯著提升，成為幾乎所有主流互聯(lián)網(wǎng)公司的標(biāo)準(zhǔn)配置。

這個專欄希望哪些受眾從中受益？ 我希望把專欄的受眾分為兩類，一是互聯(lián)網(wǎng)行業(yè)相關(guān)方向，特別是廣告、推薦、搜索領(lǐng)域的從業(yè)者，希望這些同學(xué)能夠熟悉深度 CTR 模型的發(fā)展脈絡(luò)，清楚每個關(guān)鍵模型的技術(shù)細(xì)節(jié)，進而能夠在工作中應(yīng)用甚至改進這些模型；二是有一定機器學(xué)習(xí)基礎(chǔ)，想進入這個領(lǐng)域的愛好者、在校生。我會盡量用平實的語言從細(xì)節(jié)出發(fā)介紹每個 CTR 預(yù)估模型，希望大家能夠從零開始構(gòu)建深度 CTR 模型的知識體系。

對于互聯(lián)網(wǎng)從業(yè)者來說，“增長”這個詞就像是插在心中的一只矛，無時無刻不被其刺激和激勵著。我對“增長”這個詞的理解還是來源于上大學(xué)時實驗室的一段經(jīng)歷。清華計算機系跟搜狗一直是長期的伙伴，因此實驗室的師兄師姐也經(jīng)常談起與搜狗合作的項目，我一直記憶至今的一句話是“如果我們能把搜狗搜索引擎廣告的點擊率提升 1%，那就能為公司帶來上千萬的利潤”。從那時，“點擊率（Click Through Rate， CTR）”這個詞深深的烙在我心中，可能也在潛意識中指引我走上計算廣告工程師的職業(yè)道路。那么到底是怎樣的一個指標(biāo)能對公司的增長起到如此至關(guān)重要的效果，為什么 CTR 預(yù)估模型能夠被稱為互聯(lián)網(wǎng)“增長之心”，下面我嘗試用兩個場景給出答案。

一、CTR 預(yù)估模型與計算廣告的利潤增長

CTR 預(yù)估模型在計算廣告領(lǐng)域的關(guān)鍵地位來源于計算廣告利潤增長的需求。

CTR 預(yù)估的準(zhǔn)確與否，直接影響計算廣告公司的收入。

假設(shè)我們是一個 DSP（Demand side platform）公司，需要對接第三方的流量資源，通過出價的方式競得該流量，從而贏得這個廣告曝光（impression）機會。

對于一個以效果為核心目標(biāo)的中小廣告主來說，往往會選擇 CPC 的結(jié)算方式，也就是每帶來一次點擊，我為你支付 x 元。那么這時，CTR 模型的關(guān)鍵就體現(xiàn)出來了，因為只有擁有了準(zhǔn)確的 CTR 模型，DSP 公司才能夠正確的估計某次流量的成本價。

例如 CTR 預(yù)估模型預(yù)測某流量投放某廣告的點擊率是 0.5%（即 CTR=0.5%），廣告主愿意為一次點擊支付 1 元（即 CPC=1），那么我只有用少于 CPC*CTR = 1 * 0.5% = 0.005 元的價格競得該流量，我才不會虧錢。如果 CTR 模型預(yù)測的 CTR 偏高，我將極可能以高于成本價的價格競得該流量，這樣的情況下，競得越多這樣的流量，公司的虧損也越大。另一方面，如果 CTR 模型預(yù)測的 CTR 過低，進而出價過低，很有可能損失大量競得機會，導(dǎo)致客戶的廣告預(yù)算花不完，從而無法獲得后續(xù)訂單，也使公司利潤受損。

因此，精準(zhǔn)的 CTR 預(yù)估模型是計算廣告系統(tǒng)的基礎(chǔ)和核心，也是計算廣告公司進行利潤最大化的核心模塊，所以說 CTR 預(yù)估模型是計算廣告利潤的增長之心絲毫不為過。

二、CTR 預(yù)估模型與推薦系統(tǒng)的用戶使用時長增長

廣義上來講，計算廣告和推薦系統(tǒng)的界限并不那么嚴(yán)格，比如淘寶的直通車廣告，應(yīng)該屬于計算廣告的范疇，但它又完全符合商品推薦的場景。這里我傾向于把一切跟“錢”直接相關(guān)的模型歸為計算廣告的范疇，把一切跟“用戶體驗”直接相關(guān)的模型歸為推薦系統(tǒng)的范疇，雖然提高用戶體驗更本質(zhì)的目標(biāo)也是為了最終實現(xiàn)產(chǎn)品利潤的增長，但這與計算廣告時刻跟出價、轉(zhuǎn)化率、投資回報等“錢”相關(guān)的模型還是有業(yè)務(wù)場景上的較大區(qū)別。

所謂提高“用戶體驗”，可以進一步做這樣的解釋——“推薦系統(tǒng)的優(yōu)化目標(biāo)應(yīng)該是為了在不損害用戶長期興趣的基礎(chǔ)上增加用戶的使用時長”。以 YouTube 為例，其商業(yè)目標(biāo)就是為了通過提高用戶觀看總時長，實現(xiàn)廣告 inventory 的增長，進而增加公司利潤。

實現(xiàn)這一目標(biāo)的關(guān)鍵就在于預(yù)測用戶 U（user）在某場景 C（context）下是否會觀看某視頻 V（video），以及觀看該視頻的觀看時長是多少。這與計算廣告中的 CTR 預(yù)估模型的區(qū)別僅在于將 A（ad）換成了 V（video），將構(gòu)建 CTR=g(A, U, C) 的問題換成了構(gòu)建 watch time=g（V, U, C）的問題。

事實上，YouTube 的工程師們在那篇著名的工程論文“Deep Neural Networks for YouTube Recommendations”也非常明確提出了改造 CTR 預(yù)估模型為預(yù)測用戶時長的深度學(xué)習(xí)推薦模型的方法。由 CTR 預(yù)估模型衍生出的泛效果模型共同構(gòu)成了驅(qū)動互利網(wǎng)場景下的用戶增長、使用時長增長、轉(zhuǎn)化效果增長等一系列的關(guān)鍵商業(yè)指標(biāo)的增長之心。

三、深度學(xué)習(xí) CTR 預(yù)估模型專欄的結(jié)構(gòu)

專欄的正式內(nèi)容將會分為兩大部分，一是深度 CTR 模型的理論和技術(shù)發(fā)展脈絡(luò)；二是深度 CTR 模型的系統(tǒng)設(shè)計和工程實踐。

理論部分又將會分為“前深度學(xué)習(xí)時代“和”深度學(xué)習(xí)時代“兩部分，這里仍要強調(diào)”前深度學(xué)習(xí)時代“CTR 預(yù)估模型的原因，是希望大家能夠建立完整的學(xué)習(xí)框架，并打牢深度學(xué)習(xí)模型的理論基礎(chǔ)，二者本質(zhì)上是不可分割的。

而實踐部分將分為”模型實現(xiàn)與部署“和”模型業(yè)界應(yīng)用“兩部分。能夠掌握從”模型理論“到”模型實現(xiàn)“再到”上線部署“的一整套技術(shù)棧對于算法工程師來說是重要的。最終的”業(yè)界應(yīng)用”部分包括了 Google，Airbnb，F(xiàn)acebook，Alibaba 等業(yè)界知名互利網(wǎng)公司的 CTR 預(yù)估模型的設(shè)計和應(yīng)用案例，希望讀者能夠從應(yīng)用中學(xué)到更多實踐中應(yīng)該注意的技術(shù)細(xì)節(jié)。

文：王喆@AI前線(ai-front)

首席增長官CGO薦讀產(chǎn)品增長：

• 《 實驗引爆用戶增長：A/B測試最佳實踐 》
• 《 Google用戶增長主管的七項原則：如何推動產(chǎn)品增長 》
• 《 產(chǎn)品運營：如何從本質(zhì)上探求產(chǎn)品增長 》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達成各種營銷目標(biāo)的新型團隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…