阿里巴巴展示廣告智能拍賣機(jī)制的演進(jìn)之路

近幾年，互聯(lián)網(wǎng)廣告營銷市場規(guī)模不斷擴(kuò)大，其累計市場規(guī)模已達(dá)千億。機(jī)制設(shè)計在廣告投投放中扮演著核心角色，如何幫助廣告主出價以贏得更有價值的流量，如何設(shè)計激勵兼容的機(jī)制以保障平臺收入和穩(wěn)定、可持續(xù)的健康發(fā)展等都屬于這個范疇。本文基于阿里媽媽展示廣告業(yè)務(wù)，詳細(xì)介紹廣告智能拍賣機(jī)制的演進(jìn)之路，主要內(nèi)容如下：

• 阿里媽媽展示廣告業(yè)務(wù)背景介紹
• 阿里媽媽展示廣告業(yè)務(wù)現(xiàn)狀與分析
• AIDA廣告智能決策分配框架
• 智能拍賣機(jī)制演進(jìn)之路
• AIDA廣告智能決策分配框架未來規(guī)劃

提到機(jī)制設(shè)計，大家首先想到的詞是什么呢？經(jīng)濟(jì)學(xué)，囚徒困境，博弈論，激勵兼容。從本質(zhì)上來說，廣告其實是一個經(jīng)濟(jì)學(xué)問題，機(jī)制設(shè)計是這個問題的核心。這其中包含了很多研究問題，比如對于每次展現(xiàn)機(jī)會應(yīng)該分配給哪些廣告主，并扣多少錢；在廣告主相互博弈的商業(yè)系統(tǒng)中，如何設(shè)計廣告拍賣機(jī)制才能保證廣告主說真話，并使得廣告平臺博弈均衡。智能拍賣機(jī)制是這兩年來阿里媽媽展示廣告團(tuán)隊逐步摸索并建立起來的一個方向，近期也被列為了阿里媽媽八大智能方向之一。下面我會從整個技術(shù)發(fā)展的脈絡(luò)出發(fā)，給大家匯報下我們在這個方向上的工作。

01

阿里媽媽展示廣告業(yè)務(wù)背景介紹

1. 阿里媽媽消費者全鏈路精準(zhǔn)營銷核心場景

阿里媽媽展示廣告主要是指阿里媽媽展示域媒體的商業(yè)營銷產(chǎn)品，常見的產(chǎn)品有超級推薦和超級鉆展。經(jīng)過近幾年高速發(fā)展，展示廣告已經(jīng)成為阿里媽媽的核心產(chǎn)品，持續(xù)為數(shù)以百萬的廣告主提供營銷服務(wù)，每年為集團(tuán)貢獻(xiàn)可觀收入。

投放媒體方面，展示廣告涵蓋了淘內(nèi)所有的展示位和信息流；淘外也接入了阿里集團(tuán)內(nèi)多數(shù)Apps，比如支付寶、優(yōu)酷等；同時，阿里集團(tuán)外的媒體比如頭條等都接入，以幫廣告主實現(xiàn)全媒體渠道投放。對于廣告主，可以做到消費者全鏈路精準(zhǔn)營銷。對于消費者，在阿里的媒體內(nèi)、外，整個投放路徑上，可以體驗到更優(yōu)質(zhì)的廣告服務(wù)。

廣告主投放目的方面，廣告主商品種類繁多、營銷目標(biāo)各異。為了更好地滿足廣告主的營銷服務(wù)，阿里媽媽推出了一系列的智能營銷工具。比如品牌廣告的合約售賣模式，效果廣告的CPM/CPC/CPA售賣模式，針對這些基礎(chǔ)類型投放的一些優(yōu)化產(chǎn)品有OCPM/OCPC及更加智能的BCB/MCB等。另外，展示廣告資源位也越來越多，為了幫助廣告主同一份預(yù)算投放在所有媒體上，近期阿里媽媽也推出了展示OneBP。

2. 大媒體廣告平臺下的多目標(biāo)利益優(yōu)化

現(xiàn)在的媒體搭建廣告平臺，并運營廣告主，形成了包含媒體-廣告平臺-廣告主的大媒體形式。在這種全新營銷背景下，多目標(biāo)利益優(yōu)化是廣告平臺重要優(yōu)化方向。廣告主有多個異質(zhì)化營銷目標(biāo)，比如曝光、拉新、轉(zhuǎn)化等。而媒體需要優(yōu)化用戶體驗，在電商場景上又有拉動GMV的要求。比如鉆展需要調(diào)控CTR以提升用戶體驗，信息流要優(yōu)化廣告主ROI。而這種大媒體形式下的廣告平臺，除了優(yōu)化廣告收入之外，還需要考慮到廣告主、媒體等多方利益的優(yōu)化訴求。

機(jī)制策略是整個廣告系統(tǒng)的核心，通過出價、分配和計費決定哪些廣告主的廣告最終展示及費用，從而影響廣告主和廣告平臺的效果。因此，機(jī)制策略需要設(shè)計靈活的決策算法幫助廣告主優(yōu)化多樣的營銷訴求，通過設(shè)計拍賣機(jī)制實現(xiàn)平臺的多目標(biāo)優(yōu)化。由于廣告系統(tǒng)存在多方博弈，機(jī)制策略還需要具備良好的經(jīng)濟(jì)學(xué)性質(zhì)。最后，廣告系統(tǒng)的發(fā)展需要持續(xù)的幫助廣告主創(chuàng)造增量價值，并引入增量流量增加收入，所以無論對于策略迭代還是新場景的接入，都需要設(shè)計好的頂層框架，來推動業(yè)務(wù)的快速發(fā)展。

02

阿里媽媽廣告業(yè)務(wù)現(xiàn)狀與分析

阿里媽媽展示廣告，在AIDA系統(tǒng)之前，在解決多方利益優(yōu)化問題上，使用了平臺視角的OCPC，其基本思路就是通過調(diào)節(jié)bid來優(yōu)化廣告的多目標(biāo)，同時又通過把bid約束在一個區(qū)間內(nèi)來保證廣告的利益。仔細(xì)分析下來，就會發(fā)現(xiàn)這個方案其實把多方利益耦合在一起來進(jìn)行優(yōu)化，這樣效果上就會存在蹺蹺板效應(yīng)。我們對這個問題進(jìn)行了思考，這個算法的耦合狀態(tài)限制了多方利益的同時優(yōu)化，且統(tǒng)一的ROI約束很難適應(yīng)新的優(yōu)化目標(biāo)的接入。而為引入增量流量，未來要接入新的的場景和業(yè)務(wù)模式，原有的框架把代碼多次拷貝，導(dǎo)致了系統(tǒng)非常臃腫，難以維護(hù)和迭代。這也是為什么我們要設(shè)計AIDA這一面向未來業(yè)務(wù)發(fā)展的框架。

03

AIDA廣告智能決策分配框架

面向未來業(yè)務(wù)發(fā)展，多方利益優(yōu)化、經(jīng)濟(jì)性公平均衡等，阿里媽媽展示廣告設(shè)計了智能決策分配框架，簡稱AIDA。

AIDA基于業(yè)務(wù)未來發(fā)展趨勢，以算法架構(gòu)先行，引入拍賣機(jī)制作為理論基石，設(shè)計了AIDA分層協(xié)同算法框架。算法框架分為兩層，下層是面向廣告主多目標(biāo)訴求的Bidding智能體，將廣告平臺流量價值貨幣化。上層是通過拍賣機(jī)制優(yōu)化整個廣告平臺的目標(biāo)。下層通過bidding機(jī)制撬動整個平臺側(cè)的分配機(jī)制，上層通過經(jīng)濟(jì)學(xué)性質(zhì)保證下層廣告主利益均衡。

在這個算法框架下，廣告主的多樣化優(yōu)化目標(biāo)是獨立的，新增的廣告主或者營銷目標(biāo)，可以靈活插拔式優(yōu)化。面向廣告主目標(biāo)優(yōu)化的出價算法在經(jīng)濟(jì)學(xué)拍賣機(jī)制保證下，通過博弈均衡保證系統(tǒng)的穩(wěn)定性。AIDA框架前展示廣告的拍賣機(jī)制是靜態(tài)的，比如GSP、VCG等，為了打開效果優(yōu)化的天花板，并利用工業(yè)界海量數(shù)據(jù)的優(yōu)勢，并結(jié)合深度網(wǎng)絡(luò)的強(qiáng)大的學(xué)習(xí)能力，打造了智能拍賣機(jī)制的方向，從而誕生了Deep GSP 和Neural Auction等這樣的拍賣機(jī)制策略。最后，為了能夠更好的支撐業(yè)務(wù)發(fā)展，和工程團(tuán)隊一起搭建了平臺化框架，這樣新場景或者新業(yè)務(wù)來的時候，能夠快速的把機(jī)制策略的能力補(bǔ)全。

綜合來看，AIDA分層協(xié)同算法框架，通過bidding智能體優(yōu)化廣告主多目標(biāo)，通過智能拍賣機(jī)制提升平臺分配效率。AIDA平臺化的工程框架，快速支撐業(yè)務(wù)迭代。

04

智能拍賣機(jī)制演進(jìn)之路

1. 為什么要做智能拍賣機(jī)制

如前所述，大媒體形式的廣告平臺需要優(yōu)化多目標(biāo)，但是廣告平臺的多目標(biāo)優(yōu)化不等同于經(jīng)典的多目標(biāo)優(yōu)化問題，在廣告博弈場景下，需要設(shè)計面向多目標(biāo)優(yōu)化的拍賣機(jī)制。而經(jīng)典的拍賣機(jī)制，比如Myerson Auction，GSP、VCG等，往往只考慮單個目標(biāo)優(yōu)化，沒有辦法直接應(yīng)用到多目標(biāo)的優(yōu)化上。

近幾年學(xué)術(shù)界將深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到拍賣機(jī)制領(lǐng)域中，顯著地提升了優(yōu)化效果。以哈佛，Google Research為代表的學(xué)術(shù)界在深度拍賣機(jī)制做了大量的探索，其中RegretNet在深度拍賣機(jī)制里受到廣泛關(guān)注。但是學(xué)術(shù)界設(shè)計的拍賣機(jī)制理論假設(shè)很強(qiáng)，難以應(yīng)用到工業(yè)界。

因此我們開始思考，如何設(shè)計新型的面向多目標(biāo)優(yōu)化的拍賣機(jī)制，并結(jié)合工業(yè)界海量數(shù)據(jù)的優(yōu)勢，通過深度網(wǎng)絡(luò)提升機(jī)制的優(yōu)化能力。

2. 問題定義和挑戰(zhàn)

基于以上背景，阿里媽媽展示廣告定義了多目標(biāo)拍賣機(jī)制的問題及挑戰(zhàn)。

① 問題定義

其中f(b;M)函數(shù)是優(yōu)化目標(biāo)，比如RPM、CTR、GMV。優(yōu)化目標(biāo)的約束條件是經(jīng)濟(jì)學(xué)性質(zhì)，比如均衡博弈，即在保證良好的經(jīng)濟(jì)學(xué)性質(zhì)下優(yōu)化多目標(biāo)。

② 面臨挑戰(zhàn)

• 如何將經(jīng)濟(jì)學(xué)性質(zhì)融入到機(jī)制設(shè)計中，即博弈均衡是一個經(jīng)濟(jì)學(xué)問題，如何用簡潔的數(shù)學(xué)形式表達(dá)，并融入模型中學(xué)習(xí)。
• 如何面向后驗?zāi)繕?biāo)優(yōu)化，即很多優(yōu)化目標(biāo)指標(biāo)難以精準(zhǔn)估計，只能通過真實反饋的方式才能獲得。
• 如何靈活調(diào)控多目標(biāo)，即不同階段優(yōu)化目標(biāo)不一樣，如何設(shè)計更靈活的調(diào)控機(jī)制，滿足不同階段優(yōu)化目標(biāo)。

3. 深度網(wǎng)絡(luò)賦能拍賣機(jī)制(Deep GSP)

① 面向多目標(biāo)優(yōu)化的智能拍賣機(jī)制Deep GSP

定義展示廣告智能拍賣機(jī)制的問題邊界后，調(diào)研了具備經(jīng)濟(jì)性激勵兼容的Myerson Theorem理論，該理論的充要條件有兩個，一是單調(diào)分配，即廣告主出價越高，獲得展示分配的概率越大；二是最小扣費，即保證廣告主恰好競得展示流量的最小扣費，等價于第二家廣告主的出價。同時，Myserson理論能推導(dǎo)收入最大化的最優(yōu)機(jī)制。假設(shè)廣告主value的分布已知且獨立，能推導(dǎo)出一種最優(yōu)的廣告的分配函數(shù)，根據(jù)分配函數(shù)及廣告主的出價決定流量給哪個廣告主。

基于Myserson啟發(fā)及GSP框架，設(shè)計了具有良好的可解釋性且易于部署的Deep GSP機(jī)制。該機(jī)制定義了分配形式，當(dāng)給定廣告主的競價隊列時，在遵循Myserson激勵兼容充要條件下，根據(jù)廣告主自身的特性學(xué)習(xí)模型系數(shù) ，從而影響rankscore決定分配及扣費。當(dāng)滿足對單調(diào)遞減，Deep GSP對于效用最大化（utility maximizer）單個廣告主滿足激勵兼容，多個廣告主滿足納什均衡。同時，對于value maximizer廣告主也滿足激勵兼容。

② Deep GSP關(guān)鍵創(chuàng)新技術(shù)

簡單介紹Deep GSP的關(guān)鍵創(chuàng)新技術(shù)，具體細(xì)節(jié)可以參考論文。

首先，單調(diào)性保證廣告主單調(diào)分配。bid作為網(wǎng)絡(luò)特征，單調(diào)遞增代表網(wǎng)絡(luò)對特征的梯度大于0，設(shè)計網(wǎng)絡(luò)時需考慮單調(diào)性部署。

其次，站在平臺機(jī)制視角，需要決定給廣告主什么動作，哪個廣告主勝出。最好的機(jī)制是讓所有的廣告主配合起來，讓最好的廣告主勝出，差的廣告主失敗，然后評估對廣告主動作的好與壞，以及對整體效果的影響有多少，其中涉及到信用分配的問題，結(jié)合啟發(fā)式算法綜合考慮每個廣告的質(zhì)量，對整體的影響做reward。

最后，面向一個真實反饋做模型的訓(xùn)練。和其他強(qiáng)化學(xué)習(xí)不太一樣，沒有使用模擬環(huán)境，而是基于真實的環(huán)境產(chǎn)生數(shù)據(jù)，然后做閉環(huán)的訓(xùn)練，這樣可以保證優(yōu)化效果真實有效。

③ DeepGSP業(yè)務(wù)貢獻(xiàn)及學(xué)術(shù)沉淀

在多目標(biāo)優(yōu)化方面，帕累托曲面顯示Deep GSP效果優(yōu)于GSP、uGSP。在提效與多目標(biāo)調(diào)控方面，Deep GSP在2020.5-2020.11共做了多次技術(shù)升級，通過面向真實反饋優(yōu)化，提升了平臺分配效率，累計拉動信息流廣告大盤兩位數(shù)增長。多目標(biāo)調(diào)控方面，多次用于業(yè)務(wù)決策提升CTR和ROI，調(diào)控效果顯著高于uGSP等策略。

Paper “Optimizing Multiple Performance Metrics with Deep GSP Auctions for E-commerce Advertising” 被WSDM’2021接收，大會對文章也做出了“開創(chuàng)性”稱贊。

4. 端到端優(yōu)化的拍賣機(jī)制(Neural Auction)

① 智能拍賣機(jī)制的進(jìn)一步思考Neural Auction

Deep GSP是基于廣告粒度建模，通過信用分配解決強(qiáng)化學(xué)習(xí)優(yōu)化方向。但是存在兩個問題，第一，信用分配難，Reward設(shè)計非常依賴業(yè)務(wù)經(jīng)驗；第二，搜索空間大，如果<狀態(tài)，動作>探索不充分，很難找到最優(yōu)解。

為突破Deep GSP的問題，經(jīng)過多智能體value分配或者集合建模，嘗試將所有的廣告主參競放在一個集合中優(yōu)化，建模和效果在同一個維度，省去做信用分配，單目標(biāo)優(yōu)化有效，但是多目標(biāo)優(yōu)化效果不明顯。單目標(biāo)是端到端優(yōu)化，只要學(xué)出value的分布，然后進(jìn)行softmax，將最大的作為展示廣告，第二作為扣費。多目標(biāo)下需要對所有的廣告先排序，基于排序結(jié)果進(jìn)行分配扣費，但是排序過程不可微，無法像監(jiān)督學(xué)習(xí)通過優(yōu)化效果，通過Loss反向傳遞驅(qū)動模型訓(xùn)練。因此，推出Neural Auction拍賣機(jī)制，通過最后的效果反向傳導(dǎo)的方式，驅(qū)動整個模型訓(xùn)練，實現(xiàn)端到端學(xué)習(xí)。

② Neural Auction – 端到端優(yōu)化的拍賣機(jī)制

基于可微排序算子，實現(xiàn)整個過程的端到端學(xué)習(xí)。

沿用“基于rankscore排序”的機(jī)制分配框架，并使用深度神經(jīng)網(wǎng)絡(luò)計算每條廣告的rankscore，Neural Auction主要由三部分模塊構(gòu)成：

• 集合編碼器（Set Encoder），學(xué)習(xí)整個競價隊列的上下文信息，輸出一個定義在競價隊列上的特征；
• 上下文評分函數(shù)（Context-Aware Rank Score Function），以單個廣告的特征和競價隊列特征作為輸入，學(xué)習(xí)每個廣告的排序分?jǐn)?shù)，并保障廣告主的 IC/IR 性質(zhì)；
• 可微排序引擎（Differentiable Sorting Engine），以競價隊列所有廣告的排序分?jǐn)?shù)為輸入，以可微的形式進(jìn)行排序操作，并進(jìn)一步計算在當(dāng)前排序分狀態(tài)下的其他估計指標(biāo)。

③ Neural Auction技術(shù)細(xì)節(jié) – Differentiable Sort Engine

④ NeuralAuction 業(yè)務(wù)貢獻(xiàn)和學(xué)術(shù)沉淀

在多目標(biāo)優(yōu)化方面，帕累托曲面顯示Neural Auction效果優(yōu)于GSP、uGSP、Deep GSP。在提效與多目標(biāo)調(diào)控方面，Neural Auction在2021.4 – 2021.6做了多次迭代升級，在展示廣告多個場景效果取得大幅提升。大促期間，多目標(biāo)調(diào)控顯著提升了廣告ROI。

Paper “Neural Auction: End-to-End Learning of Auction Mechanisms for E-Commerce Advertising”已經(jīng)被KDD2021接收。

5. AIDA平臺化 – 面向機(jī)制策略的平臺化框架

為了支撐業(yè)務(wù)的快速發(fā)展，提升策略迭代效率，設(shè)計了面向機(jī)制策略的平臺化框架AIDA。其中兩個創(chuàng)新的模塊是：

• 圖化在線服務(wù)引擎，也稱為AIDA agent。屬于業(yè)界開創(chuàng)性的基于TensorFlow框架將機(jī)制策略以圖化的編程模式、高并發(fā)的提供服務(wù)。
• 離線策略解決方案部分，為了業(yè)務(wù)靈活快速接入，且保障算法服務(wù)調(diào)用的穩(wěn)定性，將離線策略沉淀到阿里媽媽的星云平臺。該平臺是展示廣告核心的離線解決方案框架。

05

AIDA廣告智能決策分配框架未來規(guī)劃

智能拍賣機(jī)制設(shè)計在阿里媽媽展示廣告初現(xiàn)成果，AIDA平臺化工程框架對機(jī)制策略迭代效率，提供的服務(wù)性能等也產(chǎn)生深遠(yuǎn)價值。對于廣告智能決策分配框架有如下五方面規(guī)劃：

• 技術(shù)縱深：雖然初步探索出機(jī)制設(shè)計的幾種解決方案，但工業(yè)界機(jī)制策略是非常復(fù)雜的問題，目前技術(shù)只解決了小部分問題，更多的業(yè)務(wù)場景需要把技術(shù)做得更深。
• 新場景、新技術(shù)相互促進(jìn)：新業(yè)務(wù)能給技術(shù)帶來新視角，同時，新技術(shù)也能給業(yè)務(wù)帶來新的想象力。比如按照點擊售賣，或者按照展現(xiàn)售賣等，誕生了很多新需求。比如集合拍賣，需要技術(shù)突破，促進(jìn)業(yè)務(wù)突破。
• 廣告生態(tài)優(yōu)化：面向整個廣告系統(tǒng)可持續(xù)健康發(fā)展，比如廣告主扶持，新品、新客冷啟動等。
• 基礎(chǔ)機(jī)制理論探索：傳統(tǒng)的機(jī)制設(shè)計，假設(shè)廣告主優(yōu)化目標(biāo)單一，物理推導(dǎo)或者技術(shù)設(shè)計相對簡單。目前整個智能化的廣告系統(tǒng)，廣告主營銷的商業(yè)目標(biāo)變得更加多樣化。廣告主優(yōu)化目標(biāo)的研究，決定機(jī)制設(shè)計優(yōu)化方向。
• 開源和平臺化：策略或機(jī)制設(shè)計上有成效的結(jié)果，通過論文形式公開共享，同時，在工程上實現(xiàn)開源和平臺化。

今天的分享就到這里，謝謝大家。