點選率(CTR，Click-Through Rate)以及派生的各種使用者行為機率(如商品購買率、推薦好友接受率、短影片3s曝光率等)是廣告、推薦、搜尋等網際網路應用中大家耳熟能詳的詞彙。以點選率為例，如何建立高效的CTR預估模型是領域從業者們的核心能力，也是頭部企業長期重兵投入、持續最佳化的核心技術。
近些年來，得益於深度學習帶來的巨大紅利，CTR預估建模技術發展迅速，頂會論文、技術部落格等都有大量精妙而深刻的介紹，加之開源浪潮帶來的工具普及，這項技術的入門似乎變得極其容易：跑跑已經發表甚至開源的論文模型，調一調結構，或根據自己的業務特點做一些微創新，總是能取得不錯的結果。然而，隱藏在這些類似製造業的熟練工序背後，有很多基礎性的、細思極恐的知識點，若缺失它們雖不至導致熟練工的技能立刻坍塌，但卻總是讓技術的大廈存在不小的裂縫。另一方面，產品、運營等角色往往對CTR模型的理解停留在似是而非的直觀層面，也有必要做個嚴肅的普及。
今天我們不講複雜的建模技術，僅來聊聊CTR模型背後的一些小知識。拋幾個問題開開胃：
- CTR的物理意義是什麼？使用者的點選機率可以被準確預測嗎？
- CTR模型為什麼普遍採用二分類建模而不是迴歸建模？
- 訓練集中竟然存在矛盾樣本，傳統machine learning任務似乎聞所未聞，如何理解？
- 為什麼採用AUC指標來度量模型效能，而不是傳統的模型準確率？
- CTR模型的理論AUC上界是什麼，跟什麼相關，為什麼會存在？
- 模型預測值的準確性是什麼意思？為什麼需要校準？校準背後的原理是什麼？
▐ 1.CTR的微觀不可預測性
不失一般性，下文統一以展示廣告場景為例來做介紹。點選率，即發生點選的機率，度量的是“某時某刻某地使用者對看到的某個廣告點選的可能性”。那問題來了，這個可能效能否被準確預測？
簡便起見，記“某時某刻某地使用者看到某個廣告”這個事件為E。根據大數定律，如果我們能夠在平行空間將事件E獨立執行 N次，並觀察到其中T()次發生了點選。當N足夠大時我們可以斷言：
顯然，隨著N趨近於無窮大，這個值越逼近真實值。然而事與願違：客觀世界中，我們能且只能觀察到事件E發生1次。換句話說，事件E 發生後點擊機率的真實值（true-ground）我們永遠無法獲得，因此微觀層面來看CTR是無法被準確預測的，我們的預測只是對真實值的某種猜測。
為了更準確地理解這個結論，我們給出數學化的描述。事件E發生後的結果只能是點選或不點選兩種情況，我們用Bernoulli分佈來刻畫，對應引數為，其中x表示事件E的所有背景知識，包括使用者資訊、廣告資訊、場景及上下文資訊，也就是feature。點選的機率 服從引數為的Bernoulli分佈, 其中y代表事件的結果，也就是label。微觀視角上看來每個事件E是無關聯的，伯努利分佈的引數僅靠對事件E的一次抽樣無法準確學習，即：微觀層面的CTR不可被準確預測。
省時查報告，，，
專業、及時、全面的行研報告庫
小程式
▐2. CTR建模任務背後的假設
CTR建模的任務是，對於未來的每一個類似事件，我們要給出使用者可能發生點選機率的預測值。上一節的分析表明，微觀層面是CTR不可被準確預測的。為了解決這個困難，我們只能對問題做適當的簡化，引入一些假設，使得問題近似可解。
2.1 CTR建模任務的第一層簡化
業界當前主流的做法是假設跟單個事件E本身無關，僅跟事件的特徵有關，即：。直觀地講，就是假設資料集中所有人的點選行為不再孤立地僅僅跟自己有關，彼此之間有一個內在的共性規律，事件發生後是否被點選（y取值為1或者0）都服從引數為的伯努利分佈。這樣，我們觀測到的所有事件，就構成了對聯合分佈(X,Y)的獨立同分布取樣，進而CTR建模就轉化為對 這個條件分佈的learning問題，這是可學習的。當然簡化的方法不止一種，不同的假設對應不同的模型空間。例如：
- 認為“是否發生點選”僅跟廣告資訊有關，此時模型退化為非個性化模型；
- 認為不同使用者對“是否發生點選”的機率服從不同的分佈，但同一個使用者多次發生的事件服從同一個分佈，那麼此時的CTR 建模就退化為“一人一世界”模型。
2.2 CTR建模任務的第二層簡化
上述假設，建立了對全域性樣本服從引數為 的Bernoulli分佈的學習框架。然而常見的CTR模型給出的預測結果並不是分佈，而是某個確定的點選率值。這難不倒我們，求解分佈的某種統計量，例如期望均值，是很自然的選擇。對於Bernoulli分佈而言，其期望值即為引數。因此在上述假設下我們可以進一步得到：。注意：這裡的 是一個跟x有關的常量。
拋掉過程中所有的細節假設，我們可以從一個全新的角度來理解它：對於事件E，特徵為x，它發生點選的機率為一個跟特徵x取值有關的量。假設這個關係由函式給出，即：。我們對上述表述稍加整理：事件E發生點選（y=1）的機率是其特徵 x 的函式，即:
神奇！一下子回到了我們熟悉的CTR模型形式化。雖然看著簡單，讓我們再回顧下，這個形式化背後事實上是經過了兩輪簡化的：
- “某時某刻某地使用者看到某個廣告”，是否會發生點選，不是完全取決於這個使用者，它受一個公共的規律限制：所有類似事件發生點選的機率服從一個引數為的Bernoulli分佈，引數是事件自身屬性（特徵x）的函式： 。注意：這裡的函式同樣要求所有使用者都服從；
- 點選率本身是個分佈，實際模型輸出分佈的均值。對於Bernoulli分佈而言均值恰好為 ，因此預測的點選率為 。
再次提醒：儘管我們透過簡化使得CTR任務可以求解，但模型輸出的CTR只是在給定假設空間的預測值。預測值不一定等於真實值，因為我們根本不知道真實值是什麼，預測僅僅是對真實值的某種猜測。這個猜測距離真實值的距離，取決於簡化假設與實際問題相符的程度。
▐3. CTR模型的形式化選擇
現在很清楚了，CTR模型刻畫的是條件分佈，x為特徵，y取值為0或1。點擊發生的機率為，取值範圍是[0,1]。
有一個容易混淆的小知識點：既然是預測CTR，為什麼不採用迴歸模型？答案：從傳統的machine learning視角，我們現在的資料集是，y取值為0和1，這是一個典型的二分類問題。只是我們要求模型輸出的不僅僅是分類的label，同時需要輸出屬於這個label的機率值。 只是y取值為1 的機率，而不是y的取值。很多人在此處產生了混淆。
進一步地，CTR模型將引數化，透過data-driven的方法對引數進行擬合。任意選定一個模型形式，如LR或者DNN，都是對(X,Y) 的聯合分佈或者函式做了進一步的假設。例如，LR模型假設了資料集是廣義線性可分且，DNN模型假設了。選擇了不同的模型形式，本質是對上一節反覆強調的“所有人的點選行為要服從一個公共的規律”這個假設的具象化，換言之，不同的模型形式對應於不同的假設空間。
從原理上來說，在同一個特徵體系下不同模型形式對應的模型效能差異，代表著不同假設跟真實情況逼近程度的差異。
▐4. CTR模型的效能評價之一：序的準確性
現在，透過收集大量的展現-點選樣本構造資料集即可訓練一個CTR模型。一般而言，特徵的構造對模型效能有關鍵性的影響。SOTA 的方法都是採用大規模ID化特徵體系，對“某時某刻某地使用者看到某個廣告”這個事件，從全方面的視角進行刻畫，如使用者的歷史行為有哪些、廣告的創意是什麼內容、上下文場景資訊有什麼，甚至今天的天氣情況、是不是節假日等資訊都充分收集，希望獲得影響使用者點選行為的所有可能因素，從而讓模型能夠成功捕捉和預測點擊發生的機率。
4.1 矛盾樣本現象
一個常常會出現、但傳統的machine learning理論卻鮮有提及的現象是，訓練集中會出現矛盾樣本：x相同但y取值不同。例如，同一個使用者很短時間裡面看了同一個廣告2次，一次發生了點選、另一次沒有，而在這個時間段裡面特徵x的取值沒有發生任何變化（這是很有可能的，事實上很多實際應用中x都是以靜態特徵為主，缺乏反映使用者狀態的實時資訊）。這種矛盾樣本現象常會引起初學者的困擾。
矛盾樣本的根源，來自第二節對問題的簡化操作：“假設跟單個事件E本身無關，僅跟事件的特徵有關”。換句話說，我們強行抹掉了每一個獨立事件本身的屬性，認為所有事件獨立同分布。如果把每個事件唯一區分，如精確到納秒的事件發生時間作為特徵加入到x中，那矛盾樣本自然就解開了。換個角度來看，矛盾樣本的存在說明我們的特徵丟掉了原始問題的部分資訊，導致訓練集是帶有噪聲的，進而導致模型的準確率永遠不可能達到。事實上在傳統的機器學習理論中，因資料存在噪聲分類器有個最小錯誤率的界，即貝葉斯錯誤率（Bayes error rate）。
有意思的是，跟上一節闡述的“不同模型形式選擇差異性代表不同假設跟真實情況逼近程度的差異”類似，特徵的設計其實是從另外一個角度引入了對問題的逼近誤差。原始的問題中，每一個事件都是獨一無二的，換句話說不應該存在矛盾樣本。這個建模框架中，x的設計決定了簡化問題的能力天花板，f的設計決定了逼近天花板的程度。
4.2 模型效能評估器的選擇
另一個常見問題是，為什麼CTR模型的效能度量不採用常見的分類器準確率而是AUC。不用準確率的原因大部分同學都能想到：CTR任務正負樣本比例傾斜嚴重，模型對正樣本預測全錯的情況下準確率都非常高，換句話說，準確率的評估解析度太低。使用AUC的原因則相對來說冷僻，這裡解釋下。
先回到本質，兩個CTR模型的好壞從什麼角度進行比較？我們沒法在微觀層面對每一個樣本的預測值進行度量，一個可行的選擇是從宏觀層面對樣本的比較關係進行度量。一個樣本如果實際發生了點選，那麼Y=1 的預測機率應該大於Y=0 的預測機率；反之亦然。進一步放寬些，我們希望資料集中，所有正類樣本的預測score 大於負類樣本，也就是模型的預測序儘可能逼近真實序。恰好統計領域有一種假設檢驗叫Wilcoxon-Mann-Witney Test ，它測試的是任意給一個正類樣本和一個負類樣本，正類樣本的score 有多大機率大於負類樣本的score。有牛人證明了AUC跟Wilcoxon-Mann-Witney Test等價[1]，從而AUC的物理意義就很清晰了：“任意給一個正類樣本和一個負類樣本，正類樣本的score大於負類樣本的score” 的機率值。
再回過頭來看，CTR建模從根源上就是對原始問題的簡化產物。既然我們都不知道CTR真實值，那麼絕對意義上的預測準確評估也就沒有意義，退而求其次，對觀測到的資料度量模型預測的結果序，就是個還不錯的選擇了。當然，除了AUC之外，我們還可以選擇其餘的評估方式比如lift等，它們對應於其它的物理含義，這裡不做展開了。
4.3 理論AUC上界
講完了AUC就必須要談談另一個非常重要的概念：理論AUC上界。
先講下如何計算：對於給定的訓練資料集，由於矛盾樣本的存在，一定有同一個x但不同y的情況。對資料集做個歸併操作：所有x相同的樣本，統計其CTR 值（統計N個重複樣本里面y=1的個數T，CTR=T/N；如果x不存在重複，即N=1時，CTR=y即可），將這個值作為一個理論最優分類器的預測值，計算此時模型的AUC，得到的就是理論AUC上界。AUC上界對應於傳統機器學習裡的貝葉斯錯誤率，是有噪聲資料下模型學習能夠達到的最高水平。
從計算過程可以看出，理論AUC上界度量的其實是樣本中的混淆度（即矛盾樣本出現的程度），它是給定資料集後模型能力的天花板，可以用來判斷模型迭代的邊際收益。本質上，理論AUC上界取決於特徵的設計。舉個例子，如果特徵僅僅跟AD有關，與使用者或者場景資訊無關，這個時候模型其實就退化為一個簡單的、廣告維度的統計模型，非個性化，顯然在這種特徵空間下，模型能夠達到的AUC天花板將遠低於個性化的情況。
另一方面，過高的理論AUC上界也不是好事。例如，將每一個樣本id加入到特徵裡面，原則上理論AUC=1。但這種過細的、不具備泛化能力的特徵，會對模型的學習過程造成強烈的干擾，尤其是對DNN這樣解空間巨大、區域性點遍佈的函式簇，反而可能導致模型的效能下降。
▐5. CTR模型的效能評價之二：值的準確性
這個話題是最充滿迷思、也是我多年來一直反反覆覆跟很多人強調的。很多外行的同學、甚至不少從事CTR模型技術研發的同學，經常掛在嘴邊的一個概念：CTR建模的任務就是做準了。這裡的“準”，潛臺詞是：某個廣告，或者某個廣告計劃，真實CTR是，你模型預測出來怎麼是，一定是有問題。
相信認真看完前面內容的同學，對這個點應該能突口而出：CTR模型沒法評估預測值的準確性，因為我們並不知道真實值。
同學A提出反對的意見：不對呀，真實資料中，我的確可以看到某個廣告，曝光了10000次，被點選了100次，不是難道真實的嗎？要準確地回答同學A的疑問，那我們需要引入一個新的視角來審視CTR模型：座標系。
我們做個詳細的剖解：對於模型而言，它是在給定資料集上擬合函式，此時模型是在最細粒度的特徵空間X來進行引數的擬合學習，換言之，模型學習的時候是基於全空間座標系（簡稱FS座標系）。同學A是在廣告維度進行的統計觀察，他看到廣告的曝光和點選次數，本質上對應的是僅廣告特徵的座標系（簡稱AD座標系）。座標系不同，相應統計量背後的資料分佈也就不同，因此不可直接比較。
事實上，對於這個廣告的10000次曝光，在FS座標系下模型會預測每個曝光的細粒度pCTR值。注意：這裡對每一個曝光的預測pCTR，模型的輸入是完整特徵集合X，而不是僅僅廣告特徵。同學A直接將這些pCTR值取平均得到該廣告的平均預測pCTR值，相當於是對“除去廣告特徵之外的特徵子空間對應的殘差座標系（簡稱Res座標系）”進行了積分操作。只不過這個積分操作是針對某一個特定的廣告進行的，而這個廣告只是在Res空間的10000次曝光采樣。實際廣告系統中，廣告受特定的人群定向以及出價的影響，其競得的曝光明顯跟全域性流量不同分佈。那就清楚了：模型預測這10000次曝光的pCTR基於的是對整個Res特徵空間的分佈擬合，而同學A統計的真實CTR僅僅是站在Res空間中單個廣告視角的擬合，這是有偏的，從而導致這10000次曝光上CTR的預測平均值跟真實統計平均值不同。換言之，不是模型不準確，而是你要的東西跟模型學習的東西不一致，各說各話自然說不到一塊去。
到這裡，我們可以先對CTR模型的值準確性話題做個小結：
- 真正意義上的值準確性是不存在的，因為我們觀測不到微觀意義上每一個事件的真實CTR值
- 在第2節的假設下我們可以對每一個事件（樣本）給出預測的pCTR值，這只是代表在特定座標系(特徵空間)、特定模型形式(模型空間)兩種選擇下的數學值，是對微觀意義上真實CTR的逼近；
- 計算的CTR預測是否準確，需要站在同一個座標系中。不同的座標系會進一步帶來觀測視角的偏差，這個偏差跟模型本身無關。
同學B進一步提出了疑問：你講的我明白了，但實際廣告業務中非常重要的自動出價（auto-bidding）技術，需要模型站在每一個AD的視角給出準確的pCTR值，這樣才能幫助AD完成每一個曝光粒度的最優出價。現在你說模型給不了，這該怎麼辦？
當然是有辦法的，先說一個容易的、也是絕大多數團隊採用的解法：校準。站在座標系的角度來看，校準相當於是一個面向特定觀測者所在的座標系構建的級聯CTR模型。給定在FS座標系下訓練的模型，校準進一步站在新的觀測座標系做了變換： 。這很容易理解，我們就不展開討論了。
值得注意的是，校準本質上是在基礎模型之上，引入了第二個學習目標。基礎模型的目標是在給定解空間擬合數據、最大化AUC（序的準確性）；校準模型的目標是在後驗的統計意義上調整pCTR值的大小，使得預測值儘可能逼近觀測到的統計值（值的準確性）。然而，這種兩段式建模方式，雖然第二階段的校準可以儘量保序，從而不影響模型的AUC表現，但兩段式建模非最優。因為基礎模型預測的pCTR分佈代表了模型對資料的歸納；現在既然已經知道有特定維度上這個歸納不準確，end-2-end聯合建模顯然能夠觸及更高的天花板。這個方向的工作我們團隊正在推進。
