阿里媽媽?周?chē)?guó)睿：電商預(yù)估模型的發(fā)展與挑戰(zhàn)｜DataFunTalk

本次分享內(nèi)容提綱：

• 電商數(shù)據(jù)個(gè)性化預(yù)估的特性
• 阿里媽媽模型迭代路徑
• Where to Go

—

01 

電商數(shù)據(jù)個(gè)性化預(yù)估的特性

首先介紹一些基礎(chǔ)的背景知識(shí)，阿里的展示廣告按展示元素主要分為 Banner 廣告和單品廣告兩種，所有廣告內(nèi)容由 id 、圖、文三部分組成。因?yàn)檎故緩V告面向的是用戶(hù)的非搜索行為，用戶(hù)不會(huì)向平臺(tái)輸入一個(gè)明確的意圖，需要我們推測(cè)用戶(hù)的意向。廣告的個(gè)性化預(yù)估問(wèn)題主要是，根據(jù)用戶(hù)的歷史數(shù)據(jù)，來(lái)預(yù)估其對(duì)于某個(gè)廣告商品點(diǎn)擊、收藏、購(gòu)買(mǎi)的可能性。與 facebook 等社交媒體網(wǎng)站通過(guò)上傳照片、點(diǎn)贊等行為來(lái)推薦多種元素廣告相比，電商場(chǎng)景中有一個(gè)顯著特點(diǎn)，預(yù)估的 candidate 節(jié)點(diǎn)內(nèi)容與用戶(hù)的歷史行為節(jié)點(diǎn)內(nèi)容是同質(zhì)化的，都是商品。

可以通過(guò)三個(gè)主要維度來(lái)描述：

• 顯式內(nèi)容：imag , text , reviews 等內(nèi)容信息
• 賬戶(hù)體系描述：item , shop , cate 等 id 信息
• 最終反饋：buy , fav , cat 等行為信息

—

02

阿里媽媽模型迭代路徑

隨著歷史的推演，從2012年起，阿里媽媽的預(yù)估模型也在不斷地迭代和創(chuàng)新，演進(jìn)路線如圖所示：

1. MLR

大規(guī)模特征和邏輯回歸模型的組合是點(diǎn)擊率預(yù)估模型的傳統(tǒng)經(jīng)典方法。通過(guò)大規(guī)模的 id 和特征能夠獲得更高分辨率的樣本描述。這種方法下，模型結(jié)構(gòu)相對(duì)固定，優(yōu)化方法上講也更注重系統(tǒng)效率。從效果上看工作重心主要在大量的特征工程，通過(guò)人工經(jīng)驗(yàn)對(duì)特征進(jìn)行組合、運(yùn)算，解決 LR 無(wú)法表達(dá)非線性關(guān)系的問(wèn)題。但是這樣的迭代模式整體受到人工能力制約，不夠智能。

MLR ( 分片線性學(xué)習(xí) ) 算法是解決此類(lèi)問(wèn)題的一個(gè)非線性算法，其主要思想是將在一個(gè)平面線性不可分的數(shù)據(jù)，分為多片，投影到不同的高維平面，實(shí)現(xiàn)線性可分。同類(lèi)的解決這類(lèi)問(wèn)題的常用方法還有 GBDT+LR 的組合。

2.第一代深度 CTR 模型

隨著硬件的發(fā)展，算力、數(shù)據(jù)量的進(jìn)一步提升，深度學(xué)習(xí)在諸多領(lǐng)域如圖像、NLP 、語(yǔ)音都取得了突破性的進(jìn)展。阿里媽媽在經(jīng)歷了從2015年的一系列探索后，在2016年嘗試了第一代深度學(xué)習(xí)算法，網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，主要就是 embedding 層+MLP，效果卻相對(duì) MLR 得到了顯著的提升。分析原因主要是傳統(tǒng)算法因?yàn)樗懔蛿?shù)據(jù)問(wèn)題，模型的 capacity 有限，非常依賴(lài)人的先驗(yàn)知識(shí)在有限的 capacity 下設(shè)計(jì)高效的模型。而算力和數(shù)據(jù)利用量提升后，模型的 capacity 通過(guò)深度學(xué)習(xí)出現(xiàn)了量級(jí)的增加，擬合能力得到了顯著的提升。

阿里媽媽認(rèn)為和傳統(tǒng)的研發(fā)模型相比，深度學(xué)習(xí)具有通用的優(yōu)化器，使得模型設(shè)計(jì)和優(yōu)化問(wèn)題解耦，模型設(shè)計(jì)組件化，從而能夠更快的設(shè)計(jì)驗(yàn)證更加復(fù)雜的模型。

但是，復(fù)雜并不是終點(diǎn)，算力和數(shù)據(jù)都存在上限，采用深度學(xué)習(xí)要走得更遠(yuǎn)，模型結(jié)構(gòu)和數(shù)據(jù)分布的匹配將是研究的方向，例如 CNN 對(duì)于圖像數(shù)據(jù)，RNNs 對(duì)于語(yǔ)音和文本的數(shù)據(jù)都有很好的適應(yīng)性。那么適合電商數(shù)據(jù)的模型結(jié)構(gòu)是什么？這一問(wèn)題，成為深度興趣網(wǎng)絡(luò)誕生的源頭。

3.深度興趣網(wǎng)絡(luò) ( DIN )

電商用戶(hù)的興趣存在多樣性的特性，即一個(gè)消費(fèi)者會(huì)同時(shí)有多種多樣的興趣，在喜歡一件大衣的同時(shí)，也可能喜歡一個(gè)杯子，又同時(shí)是電子產(chǎn)品的愛(ài)好者。在第一代深度學(xué)習(xí)網(wǎng)絡(luò)中，我們將用戶(hù)的歷史行為 encode 成為一個(gè)固定的向量，實(shí)際上，直接通過(guò)一個(gè)固定向量去表示這種多種多樣的興趣愛(ài)好是十分困難的。我們可以通過(guò)擴(kuò)大這個(gè)向量的維度來(lái)提升它的表達(dá)能力，但是這樣會(huì)帶來(lái)計(jì)算復(fù)雜度增加和過(guò)擬合等問(wèn)題。

這時(shí)我們注意到，用戶(hù)一系列的歷史行為和一個(gè)目標(biāo)商品相關(guān)的通常只有其中的幾個(gè)。采取類(lèi)似 attention 的機(jī)制 ( Activation Unit ) ，選取和某一商品相關(guān)的用戶(hù)歷史行為，就可以動(dòng)態(tài)的使用一個(gè)定長(zhǎng)的向量來(lái)表征用戶(hù)多樣的興趣，這是 DIN 模型的核心內(nèi)容。而前文提到的用戶(hù)行為和商品的同質(zhì)化，使得這種模型的效果更好。

具體的網(wǎng)絡(luò)結(jié)構(gòu)如下圖，其中 Activation Unit 設(shè)計(jì)得比較簡(jiǎn)單，主要是由于工業(yè)界時(shí)延等要求的限制：

DIN 模型使得阿里媽媽廣告的 CTR ( 點(diǎn)擊率 ) 上升了10%，CVR ( 轉(zhuǎn)化率 ) 提升了3.3%，GPM ( 千次展現(xiàn)用戶(hù)成交金額 ) 提高了12.6%。

4.CrossMedia 網(wǎng)絡(luò)

在網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整告一段落后，阿里媽媽致力于將圖文數(shù)據(jù)作為特征增加到模型中去。主要原因是，圖文是用戶(hù)直接接收的信號(hào)。并且圖文信息和 ID 類(lèi)特征不同，ID 類(lèi)特征的所有信息都源于樣本里和 label 共現(xiàn)信息的反饋，而圖文本身具有物理含義，所以其具有更好的泛化性。

在這一過(guò)程中的挑戰(zhàn)主要在于圖片的數(shù)據(jù)過(guò)大。一個(gè)用戶(hù)如果有一千多個(gè)歷史行為，和商品組合后有100億樣本，涉及圖片數(shù)據(jù)會(huì)達(dá)到上百T，對(duì)于存儲(chǔ)和 I/O 都會(huì)造成很大的壓力。

最終的解決方案是，將圖片數(shù)據(jù)存儲(chǔ)在遠(yuǎn)端 server，并在 server 上采用神經(jīng)網(wǎng)絡(luò)提取圖片為一個(gè)低維的向量，在樣本中將圖片存儲(chǔ)為一個(gè) id，計(jì)算時(shí)通過(guò)獲取壓縮后的圖片向量，實(shí)現(xiàn)效果和效率之間的一個(gè) tradeoff 。

5.Deep Interest Evolution

在 DIN 研究的時(shí)候，阿里媽媽發(fā)現(xiàn) RNNs 的時(shí)序網(wǎng)絡(luò)，不能在電商預(yù)估場(chǎng)景中得到良好的表現(xiàn)。原因是由于用戶(hù)的歷史行為可以被看做是很多個(gè)興趣的很多采樣點(diǎn)混合在一起的綜合序列，其中存在著很多隨機(jī)跳轉(zhuǎn)。例如，形式化某個(gè)用戶(hù)的一段歷史行為序列：

其中，A,B∈I 代表興趣空間內(nèi)的兩種不同興趣。

同時(shí)現(xiàn)有的模型直接將用戶(hù)的歷史行為的 embedding 當(dāng)做興趣缺乏抽象、概括能力。其實(shí)，行為只是抽象興趣的具體體現(xiàn)，用戶(hù)的每一次行為的結(jié)果只是去興趣下的一種選擇，每一次點(diǎn)擊的商品可能只是部分滿(mǎn)足了用戶(hù)的興趣，并不是這個(gè)商品的所有屬性都代表了用戶(hù)的興趣。而且多種興趣存在不同的演化路徑。阿里媽媽通過(guò)興趣提取層和興趣演化層對(duì)模型進(jìn)行了優(yōu)化。

• 興趣提取層

該層的構(gòu)想，目的是挖掘出行為背后用戶(hù)抽象興趣的表達(dá)。

通過(guò) Embedding 的學(xué)習(xí)得到用戶(hù)行為更多語(yǔ)義信息后，使用 GRU 隱層狀態(tài)表達(dá)抽象興趣；使用有監(jiān)督的點(diǎn)擊序列 pattern 實(shí)現(xiàn)輔助損失 ( auxiliary loss ) ，而非 ctr 最后點(diǎn)擊信號(hào)——通過(guò) t 時(shí)刻用戶(hù)興趣的表達(dá) h(t) 和 t+1 時(shí)刻用戶(hù)的點(diǎn)擊動(dòng)作 e(t+1) 和非點(diǎn)擊負(fù)樣本 e(t+1)’的動(dòng)作實(shí)現(xiàn)一個(gè)有監(jiān)督的 loss，使得 h(t) 的隱層不僅能夠表達(dá)對(duì)最終 output 的影響，也能預(yù)測(cè)用戶(hù)下一個(gè)行為動(dòng)作，能更好的表達(dá)用戶(hù)興趣，同時(shí)有效解決長(zhǎng)序列梯度傳播問(wèn)題。

• 興趣演化層

興趣不光是行為的抽象，具體到某個(gè)興趣，還會(huì)隨著時(shí)間逐漸演化。興趣演化對(duì)行為的影響是用戶(hù)可能在一段時(shí)間內(nèi)對(duì)各種書(shū)籍感興趣，而在另一段時(shí)間內(nèi)需要衣服。雖然興趣可能相互影響，但每個(gè)興趣都有自己的發(fā)展過(guò)程，例如書(shū)籍和衣服的發(fā)展過(guò)程幾乎是各自獨(dú)立的。我們只關(guān)心與目標(biāo)產(chǎn)品相關(guān)的興趣演進(jìn)過(guò)程即可。

在興趣提取層上，阿里媽媽增加了 Attention Unit GRU，與傳統(tǒng) GRU 不同的地方在于在 update 門(mén)和 reset 門(mén)上乘上了一個(gè) attention score 。首先，通過(guò)用戶(hù)的歷史行為計(jì)算出一個(gè) attention 值，由此體現(xiàn)和未來(lái)預(yù)估目標(biāo)的一個(gè)相關(guān)性權(quán)重，通過(guò)相乘，使得和目標(biāo)不相關(guān)的行為，不會(huì)對(duì) GRU 結(jié)果產(chǎn)生影響，相關(guān)行為才會(huì)使 GRU 結(jié)果發(fā)生遷移。

由此，從繁雜的綜合序列中抽取出相關(guān)興趣，與廣告越相關(guān)的行為更新隱狀態(tài)向量越多，精確捕捉當(dāng)前廣告相關(guān)興趣。

• 模型效果

公開(kāi)數(shù)據(jù)集效果：

線下數(shù)據(jù)驗(yàn)證效果：

線上 A/B test 測(cè)試效果：

6.Rocket Launching

隨著模型復(fù)雜度的上升，在線預(yù)測(cè)的時(shí)延和 tps 就越來(lái)越難以滿(mǎn)足。對(duì)于離線的模型，為了追求模型表現(xiàn)，可以足夠復(fù)雜；但對(duì)于在線預(yù)測(cè)模型，需要控制模型復(fù)雜度，實(shí)現(xiàn)效果和性能的平衡。

為此，阿里媽媽提出了一個(gè)類(lèi)似的模型蒸餾的 teacher-student 方案，壓縮模型的計(jì)算復(fù)雜度。在離線的時(shí)候訓(xùn)練一個(gè)復(fù)雜的 teacher 模型，同時(shí)訓(xùn)練一個(gè)很簡(jiǎn)單的 student 模型，通過(guò) teacher 對(duì)目標(biāo)的 soft 預(yù)測(cè)結(jié)果來(lái)監(jiān)督 student，同時(shí)也用真實(shí)的 label 來(lái)監(jiān)督 student 。

與一般模型蒸餾不同的三個(gè)點(diǎn)是：

• 協(xié)同訓(xùn)練，teacher 和 student 一起進(jìn)行訓(xùn)練。通過(guò)細(xì)到 batch 的數(shù)據(jù)，使 student 學(xué)習(xí)的不再是一個(gè)最優(yōu)的 teacher 解，而是 teacher 模型的學(xué)習(xí)軌跡；
• 參數(shù)共享，模型一般分為表達(dá)層和決策層，student 通過(guò)參數(shù)共享能夠獲取 teacher 表達(dá)層訓(xùn)練的成果；
• 梯度 block，通過(guò)特定損失項(xiàng)，防止 teacher 向 student 學(xué)習(xí)。

—

03 

Where to Go

回顧阿里媽媽模型的演化路徑，從線性到非線性，再到深度學(xué)習(xí)的不斷演化，模型的結(jié)構(gòu)一直在變化，但是 Representation 的技術(shù)上一直沒(méi)有明顯的進(jìn)展，展望未來(lái)的發(fā)展方向主要有兩點(diǎn)：

1. Representation 的研究，目前一些預(yù)訓(xùn)練和類(lèi)似 NLP 的方案在我們的場(chǎng)景沒(méi)有良好的效果。推測(cè)可能是因?yàn)殡娚虜?shù)據(jù)商品之間并沒(méi)有如 NLP 一樣詞與詞之間從屬，雙關(guān)，同義等關(guān)系，然而商品之間的結(jié)構(gòu)關(guān)系已經(jīng)被天然的賬戶(hù)體系，店鋪、類(lèi)目、品牌等特征很好的表達(dá)。但是我們依然會(huì)繼續(xù)推進(jìn)，后面會(huì)嘗試 Disentangled Representation，學(xué)習(xí)電商領(lǐng)域的抽象表達(dá)，提取出有效的 Concept，更好的解釋我們的 representation 每一維的語(yǔ)義信息是什么；

2. 黑盒的模型讓平臺(tái)離用戶(hù)/商家的距離越來(lái)越遠(yuǎn)，平臺(tái)自身也不能完整的理解模型的機(jī)理。希望能夠構(gòu)建更白盒的模型，知曉影響用戶(hù)決策的 Concept，并依此聯(lián)系用戶(hù)和商品。產(chǎn)品上我們可以透?jìng)鞒鐾扑]的理由和用戶(hù)做更多的交互，商業(yè)營(yíng)銷(xiāo)上可以結(jié)合商家自己的賣(mài)點(diǎn)是什么，可以讓商家更精準(zhǔn)的實(shí)現(xiàn)營(yíng)銷(xiāo)訴求。