導讀：因果推斷的應用範圍十分廣泛，例如氣候變暖、新藥研發、物理研究、經濟學等。AI領域，特別是網際網路產業，如何科學的進行因果分析，是一個重要的議題。本次分享的主題是因果分析在貝殼的探索和實踐。
今天的介紹會圍繞下面三點展開：
- 因果分析在研究什麼
- 如何科學地做因果分析
- 因果分析在貝殼的探索與實踐
01
因果分析在研究什麼
首先，因果分析在研究什麼。
2021年諾貝爾經濟學獎授予了從事因果推斷研究相關的經濟學家David Card、Joshua D. Angrist和Guido W. Imbens。因果的研究範圍非常廣泛，例如：氣候變暖、新藥研發、牛頓定律、勞動經濟學等。在AI領域，特別是產業網際網路，例如社群團購的團長管理，房產領域的經紀人管理與賦能等，作為AI工程師，我們經常會面對下面這樣的問題：我們專案的價值是什麼？怎麼樣來證明價值是專案產生的？
透過因果分析來論證價值，是一個必要但很難的過程。馬克吐溫曾經說過：“世界上有三種謊言：謊言、該死的謊言和統計資料。”資料可以幫我們更好地分析問題，但也可以成為愚弄他人的幫兇。如果沒有使用正確的方法，那麼可能導致因果推斷出現偏差，甚至悖論。
為什麼因果分析很難？在因果分析過程中面臨很多挑戰，其中常見的三個挑戰是：
- 相關性與因果性：相關性是進行因果分析的重要方法，但是相關性不代表因果性；
- 混雜因素：干擾因素或外來因素；
- 選擇偏差：樣本選擇偏差或實驗分組偏差等。
挑戰一：相關性與因果性
例如諾貝爾獎和巧克力的例子，上圖左側的關係圖可以發現一個國家巧克力銷量越多，這個國家的諾貝爾獎獲獎數量越多，那是否可以得到這樣的結論：增加巧克力銷量會導致諾貝爾獎數量變多嗎？顯然這是錯誤的。我們可以透過上圖右側的因果圖來進行分析。如果一個國家的經濟發達或者國民素質高，那麼這個國家的人吃巧克力會多，同時這個國家能獲得諾貝爾獎的數量也會很多，但是巧克力和諾貝爾獎之間是沒有相關性的。透過這個例子，我們可以看出：存在其他變數可以對兩個變數同時造成影響。
挑戰二：混雜因素
什麼是混雜因素？是當我們在研究自變數和因變數之間的關係的時候，出現其他干擾因素，這些其他干擾因素就是混雜因素。在剛才的例子裡，巧克力是自變數，諾貝爾獎是因變數，國家的經濟和國民素質等是混雜因素。
混雜因素有個經典的場景：辛普森悖論。當我們探究兩種變數相關性時，在某種條件下會產生悖論：某個條件下的兩組資料，分開討論會滿足某種趨勢，但是合併考慮就會得到一個相反的結論。比如，針對伯克利大學新生錄取率做過一個統計，發現女生錄取率比男生錄取率低，看起來好像是存在性別歧視。但是如果我們分院系進行統計，就會發現有4個系女生錄取率高，而只有2個系女生錄取率低於男生錄取率。兩個結論是相反的，存在悖論。這因為錄取率較高的兩個系男生申請人數非常多，而女生申請人數非常少；而C系和E系錄取率相對偏低，但女生申請人數較多。
挑戰三：選擇偏差
選擇偏差可能出現在很多場景，比如在樣本選擇中，可能只選擇了某類特徵的群體，他們不能代表整體；再比如AB實驗中，實驗組與對照組存在偏差。舉個倖存者偏差的例子，在二戰的時候對返航戰鬥機的彈痕分析，發現彈痕集中在機翼，而駕駛艙和油箱很少中彈，那他們就得到需要加固機翼的結論。可是透過進一步分析，如果飛機的機翼中彈，那麼它還是有一定機率可以返航的，但是如果駕駛艙和油箱中彈了，那麼飛機大機率就墜毀了。所以結論應該是加固駕駛艙和油箱。這兩個結論是相悖的。
所以，因果分析的過程挑戰多困難大，那應該如何科學地做因果分析？
02
如何科學地做因果分析
首先，基本思路是什麼？貝葉斯之父Judea Pearl在《為什麼》中提到了一種科學的因果分析方法，它透過三個層級揭示因果關係的本質：
- 關聯：變數之間的關聯是怎麼樣的？
- 干預：如果實施X行動，那麼Y會怎麼樣？
- 反事實：是X引起Y嗎？假如X沒發生會如何？
下面透過一個關於吸菸致癌的爭論的例子來解釋三個層級。
第一步關聯。多爾和希爾在1948年做過一個調研，發現649名肺癌患者中只有2人不吸菸，肺癌患者基本都吸菸。結論：吸菸導致肺癌。
第二步干預，常用的方法是實驗。多爾和希爾對六萬名醫生髮放了問卷，發現重度吸菸者死於肺癌的機率是不吸菸的人的24倍。同時，美國的癌症協會進行了更大規模的研究，發現重度吸菸的人與不吸菸的人死於肺癌的機率相差了90倍，而吸菸的人死於肺癌的機率是不吸菸的人的29倍。這些結果都表明吸菸死於肺癌的機率遠高於不吸菸的，那麼結論是吸菸確實導致肺癌。
第三步反事實，吸菸導致肺癌嗎？是否可能存在一種未知基因，它會導致一個人容易對尼古丁上癮，又會導致肺癌的產生，但是吸菸不一定能導致肺癌。未知基因是實驗中潛在的混雜因素，剛才的實驗中也存在選擇偏差。當然，最終透過化學實驗證明了菸草確實是誘導肺癌的重要致病因素。
03
因果分析在貝殼的探索與實踐
回到貝殼，我們是如何做因果分析的？貝殼是提供新居住服務的平臺，核心要素是人、房、客。人就是經紀人，房就是商品，客就是客戶。對於經紀人，重要的事情是維護房源和客源。今天的重點是介紹在智慧客源維護方向，如何進行科學的因果分析。
首先，如何維護客戶？在過去，經紀人主要透過微信或者電話來了解客戶的意願，我們有一個客源資訊中臺，是經紀人記錄維護客戶記錄的線上筆記本。現在，我們搭建了智慧客源管理工具，幫助經紀人或者門店維護客源。
上圖左側就是我們的客源資訊中臺，經紀人會記錄客戶資訊，例如：透過微信或者電話瞭解的客戶需求，對客戶的跟進情況等。上圖右側是智慧客源管理工具的示例。經紀人會收到一條資訊，包含客戶的質量分數、狀態、偏好，經紀人與客戶的親密度等等。當經紀人點選這個資訊後會進入產品詳情頁，可以看到更多解讀資訊。
如何科學論證工具的價值呢？在貝殼，核心的目標就是提升成交，但是成交會受到很多因素的影響。看一下，如何透過三個層級來逐步分析。
第一步關聯，我們認為智慧客源管理工具可以促進成交。
第二步干預，結合專案來介紹一下我們是如何進行實驗的。我們的專案主要分為兩個階段：試點階段，核心目標是讓經紀人願意使用這個工具，這個工具是有價值的；在推廣階段，我們會將工具推廣到更多城市。
兩個階段採用了不同的實驗方案：
- 在試點階段，實驗組和對照組按照人群進行分組，根據使用工具的頻率進行分組（使用工具多的人群vs不使用的人群）；
- 在第二階段，進行隨機分組，對10個城市的門店隨機分成了兩組。觀測方法採用雙重差分法，指標採用的是平均成交量。
方案1，根據使用工具的頻率進行分組（使用工具多的人群vs不使用的人群）。圖中藍色的曲線是使用多人群的平均成交量，橙色的線是不使用人群的平均成交量，可以看出：上線前實驗組和對照組差異不大，但是上線後使用多的人群明顯高於不使用的人群，提升了25%。結論是工具可以提升成交。
方案1的第三步反事實分析，思考：是工具引起的效果嗎？是否可能優秀的經紀人會樂於使用新技術與新工具，這會導致他們使用工具的頻率較高，他們提升也更多，但是無法說明工具可以使成交提升。為了論證是否存在優秀經紀人，看一下兩個人群的資源量：人均客源量。上圖右下方的藍色曲線代表使用多人群的平均客源量，橙色曲線則是不使用人群的平均客源量。很明顯，使用多的經紀人客源量遠高於不使用工具的，說明：使用多的經紀人本身是比較優秀的。所以得出結論，存在混雜因素和選擇偏差，方案1的結論可能存在偏差。因此，我們使用方案2繼續進行驗證。
方案2採用隨機分組的方法，按照門店進行隨機分組。上圖藍色的折線是實驗組，橙色的線是對照組，灰色的線是（實驗組-對照組）/對照組，綠色的虛線表示上線時間。可以很明顯地看出，上線之前，實驗組和對照組的人均成交量近似相等，而上線之後實驗組明顯高於對照組，大約提升2.5%。結論：工具可以提升成交。
方案2的反事實分析，與方案1相同的思路，我們考慮是否存在混雜因素或者選擇偏差。首先，我們分析了兩組人群的平均客源量和新增客源量，發現實驗組和對照組在上線前後近似相等。但這無法說明結論不存在偏差。現實中的混雜因素是無法一一窮舉的，我們無法透過探索混雜因素來嚴格證明最終的結論。
我們轉換了思路，思考工具可以改變什麼，我們從工具影響路徑的過程進行分析。首先，如何進行客管理？我們的管理思路是對客進行分層處理。頂部是即接近成交的優質客戶，中部是質量較好的客戶，底部是大量儲備客戶。我們希望對於頂部客戶快速去化，中部客戶向上催熟。因此，我們的智慧管理工具想要促進最終成交，首先需要讓經紀人付出更多精力維護頂部優質客戶，使得高分客戶能被服務得更好，最後促成高分客戶的更多成交。
第一步經紀人付出更多精力維護頂部優質客戶。經紀人對於高分客戶的精力變化。我們使用客源資訊中臺（經紀人的線上記錄的筆記本）的使用次數來衡量精力。從上面的折線圖可以看出上線之後經紀人對客源資訊中臺的使用次數有所增加。進一步，我們也觀察了經紀人對高分客戶的精力佔比，即對高分客戶使用資訊中臺的次數佔總使用次數的比例。我們發現在上線之後，對於高分客戶和中分客戶，經紀人精力佔比有所提升。說明，經紀人對高分客付出了更多精力。
第二，高分客戶被服務得更好。我們使用了“帶看率”，即客戶接受經紀人的邀約請求去線下看房子的比例。分別觀察了高分客戶、中分客戶和低分客戶的帶看率，實驗結果圖如上圖所示。很明顯，在工具上線之後，高分客戶的帶看率有明顯上升，中低分客戶的帶看率則基本沒有變化。這就說明高分客戶確實邀約成功的次數變多了，也就是被經紀人服務得更好了。
最後，促進高分客更多成交。觀察三個分數段的客戶在工具上線之後是否產生了成交量的上升。如上圖所示，透過對比明顯發現，上線之後高分客戶的成交量有明顯上升，而中低分客戶的成交量沒有明顯變化。所以，我們認為智慧客源管理工具確實促進了高分客戶的更多成交，進而促進了整體的成交。
最後做一個總結：
- 如何科學地進行因果分析？基本思路是透過三個層級進行因果分析：關聯->干預->反事實；
- 在干預階段，如何論證專案的價值？我們對兩種常見方案進行了分析。方案1是按人群進行分組，方案2是隨機分組；
- 在反事實階段，如何進行歸因分析？因為大部分的場景很難分析混雜因素的影響，所以我們的思路是考慮專案改變了什麼，從影響路徑的過程進行分析。
04
精彩問答
Q：價值論證中的因果圖是怎麼構造的？因為圖中只給出了一個影響因素，如何說明是考慮了全部的影響因素？
A：現實中的混雜因素是無法一一窮舉的，我們無法透過探索混雜因素來嚴格證明最終的結論。所以，我們的思路是考慮專案改變了什麼，從影響路徑的過程進行分析，工具是否對經紀人的行為發生了改變進而改變了整個過程，來論證專案是否最終促進了提升。
Q：因果分析中有沒有考慮統計的顯著性？
A：沒有特意進行分析。我們的AB實驗週期比較長，上線前實驗組和對照組的差異不大，上線後實驗組明顯優於對照組。
Q：如何避免抽樣過程中的選擇偏差？
A：從兩個方面看：數量方面，觀察了分組內不同城市的門店數量、不同等級經紀人的數量（例如經紀人的能力、業績等）；質量方面，觀察兩個分組中經紀人的行程量（例如成交量、帶看量等）是否有差異。分城市來看這兩個方面的資料，實驗組和對照組的差異都不大。
Q：有沒有因果分析的工具庫？
A：這個目前是沒有的。我們在專案落地時遇到了專案價值論證的問題，恰好2021年的諾獎獲得者從事的是因果推斷方面的工作，所把我們專案中，在因果分析的過程中將遇到的問題做了整理和總結，藉助本次機會和大家分享經驗。
Q：方案2的隨機分組是否可以去除如優秀經紀人這類混雜因素的影響？
A：在產業網際網路很多場景下，AB實驗的資料量可能並不是很大。其次，即使得到最終的結果，我們也應該反思一下結果是否真的是由專案造成的，即使用反事實的思路去論證結論。
Q：方案1如何向老闆說明專案的價值？
A：無法說服。我們列出方案1的目的是因為很多團隊在使用因果分析時也會使用類似的方法，但是由於這個方案存在漏洞，所以很難證明。
今天的分享就到這裡，謝謝大家。
在文末分享、點贊、在看，給個3連擊唄~
分享嘉賓：
分享嘉賓：周玉馳 貝殼 資深演算法工程師
編輯整理：吳祺堯
出品平臺：DataFunTalk
