在實(shí)際的評(píng)估工作中，不是所有的營(yíng)銷活動(dòng)都做了AB實(shí)驗(yàn)，也不是所有進(jìn)行了AB實(shí)驗(yàn)的營(yíng)銷活動(dòng)都能準(zhǔn)確評(píng)估出活動(dòng)效果，比較典型的情況如下：

• 場(chǎng)景一：banner位要進(jìn)行大促活動(dòng)，但距離活動(dòng)上線時(shí)間較短，如果要做AB實(shí)驗(yàn)需要產(chǎn)研定制化開發(fā)，拿不到產(chǎn)研排期資源的情況下，運(yùn)營(yíng)往往會(huì)對(duì)全量用戶進(jìn)行活動(dòng)運(yùn)營(yíng)。事后要評(píng)估該大促活動(dòng)的投入產(chǎn)出時(shí)，就沒有嚴(yán)格的實(shí)驗(yàn)組和對(duì)照組進(jìn)行對(duì)比，如果直接參加活動(dòng)用戶作為實(shí)驗(yàn)組、用大盤未參加大促活動(dòng)用戶作為對(duì)照組，那么實(shí)驗(yàn)組和對(duì)照組本身就是存在很大差異的（參與大促活動(dòng)的一般更加活躍且對(duì)補(bǔ)貼敏感），在這種情況下該怎么進(jìn)行評(píng)估才能得到更加合理的結(jié)論呢？

• 場(chǎng)景二：某直播平臺(tái)上線了一個(gè)直播間的新功能，并進(jìn)行了AB實(shí)驗(yàn)，其中實(shí)驗(yàn)組能看到新功能，對(duì)照組看不到新功能。但是事后評(píng)估時(shí)發(fā)現(xiàn)，實(shí)驗(yàn)組中雖然都能看到新功能且點(diǎn)擊使用該功能的用戶數(shù)據(jù)表現(xiàn)都很好，但是點(diǎn)擊使用該新功能的用戶滲透率很低，如果直接用AB實(shí)驗(yàn)的實(shí)驗(yàn)組和對(duì)照組相比較，那么不能得到顯著性的結(jié)論。那么直播間的這個(gè)新功能真的就沒有效果的嗎？

為了解決如上兩個(gè)場(chǎng)景的營(yíng)銷活動(dòng)效率評(píng)估，常常會(huì)根據(jù)實(shí)際情況matching一個(gè)對(duì)照組，傾向評(píng)分匹配（Propensity Score Matching，簡(jiǎn)稱PSM）是matching的方法之一，使得實(shí)驗(yàn)組和對(duì)照組進(jìn)行更合理的比較。

PSM這種方法一般用于醫(yī)學(xué)、公共衛(wèi)生、經(jīng)濟(jì)學(xué)等領(lǐng)域。比如研究問題是吸煙對(duì)于大眾健康的影響，如果要進(jìn)行隨機(jī)對(duì)照實(shí)驗(yàn)，招收大量實(shí)驗(yàn)用戶，然后隨機(jī)分配到吸煙組和不吸煙組，這種實(shí)驗(yàn)設(shè)計(jì)不太容易實(shí)現(xiàn)，也并不符合科研倫理。

這種情況下觀察研究是最合適的研究方法，但是面對(duì)最容易獲得的觀察研究數(shù)據(jù)，如果不加調(diào)整，很容易獲得錯(cuò)誤的結(jié)論，比如拿吸煙組健康狀況最好的一些人和不吸煙組健康狀況最不好的一些人作對(duì)比，得出吸煙對(duì)于健康并無負(fù)面影響的結(jié)論。

從統(tǒng)計(jì)學(xué)角度分析原因，這是因?yàn)橛^察研究并未采用隨機(jī)分組的方法，無法基于大數(shù)定理的作用，在實(shí)驗(yàn)組和對(duì)照組之間削弱混雜變量的影響，很容易產(chǎn)生系統(tǒng)性的偏差。PSM就是用來解決這個(gè)問題，消除組別之間的干擾因素。

PSM的定義很直觀，是一個(gè)用戶屬于實(shí)驗(yàn)組的 “傾向性”。具有不同特征的用戶被干預(yù)的概率應(yīng)該相等。理論上，如果我們對(duì)每一個(gè)實(shí)驗(yàn)組用戶都在對(duì)照組里匹配一個(gè)得分相等的用戶，我們就能得到同質(zhì)的實(shí)驗(yàn)組和對(duì)照組，就可以假裝做了一個(gè) A/B 實(shí)驗(yàn)了，接著就可以隨意地進(jìn)行組間比較。

在實(shí)際工作中，通過多期的觀測(cè)驗(yàn)證PSM方法較為適用于某些營(yíng)銷場(chǎng)景，那么可以將PSM模型產(chǎn)品化。運(yùn)營(yíng)同學(xué)無須每次提需求到算法側(cè)，只需要通過簡(jiǎn)單的輸入就能獲得最終結(jié)果。

確定樣本集是PSM中最為重要的一個(gè)環(huán)節(jié)，包含確定實(shí)驗(yàn)組用戶和對(duì)照組用戶。實(shí)驗(yàn)組用戶一般選取策略觸達(dá)的用戶或者是真實(shí)體驗(yàn)到核心策略的用戶，具體根據(jù)營(yíng)銷活動(dòng)特點(diǎn)來定義，而對(duì)照組則是給到一個(gè)范圍，通過建模從給到的對(duì)照組范圍中篩選用戶特征和實(shí)驗(yàn)組相似的用戶作為真實(shí)的對(duì)照組。

一般對(duì)照組的圈選范圍最好是有活動(dòng)參與的傾向性但是并沒有參與的用戶，比如說是同樣有某個(gè)活動(dòng)頁(yè)的曝光，體驗(yàn)活動(dòng)的用戶為實(shí)驗(yàn)組，有曝光但是未體驗(yàn)該活動(dòng)的用戶則為圈選的對(duì)照組范圍。

• 首先要進(jìn)行傾向性得分估算：這一步直接就是建模問題，自變量為用戶特征變量，按需做一下特征預(yù)處理，套用LR或者其他更復(fù)雜的模型，如LR + LightGBM等模型估算傾向性得分。

• 其次進(jìn)行傾向性得分匹配：在有了每個(gè)用戶的傾向性得分的基礎(chǔ)上，針對(duì)目前的實(shí)驗(yàn)組用戶，匹配得到一個(gè)近乎于同質(zhì)的對(duì)照組。當(dāng)用戶量足夠時(shí)候，一個(gè)簡(jiǎn)單做法是進(jìn)行一對(duì)一無放回匹配：對(duì)于每一個(gè)實(shí)驗(yàn)組用戶，我們?nèi)?duì)照組里找一個(gè)傾向性得分最近的用戶，把他們配成一對(duì)。匹配過程中，可以限制一下配對(duì)用戶的得分差異不能超過某一個(gè)閾值，配不上就放棄，以防把 “太不相似” 的用戶匹配在一起。

• 模型輸出及評(píng)價(jià)：模型的輸出包含了實(shí)驗(yàn)用戶、構(gòu)建的與之匹配的對(duì)照組用戶、傾向性得分，評(píng)價(jià)指標(biāo)包含模型在訓(xùn)練集上的AUC（越高說明傾向性建模越準(zhǔn)確，一般AUC≥0.85則認(rèn)為效果較好）、各個(gè)特征維度的匹配關(guān)系值（值越高說明這個(gè)特征維度的匹配關(guān)系越好）。

通過PSM構(gòu)建出與實(shí)驗(yàn)組用戶特征類似的對(duì)照組，那么效果計(jì)算的邏輯就和AB實(shí)驗(yàn)的計(jì)算邏輯類似了。

以上面提到的場(chǎng)景一作為案例，對(duì)沒有進(jìn)行AB實(shí)驗(yàn)的營(yíng)銷活動(dòng)進(jìn)行效果分析。

• 實(shí)驗(yàn)組：點(diǎn)擊進(jìn)入大促活動(dòng)頁(yè)面并領(lǐng)取到紅包的用戶A1，導(dǎo)出uesr_id明細(xì)作為PSM實(shí)驗(yàn)組輸入，假設(shè)用戶數(shù)為10,000

• 對(duì)照組范圍：有大促頁(yè)面曝光但是未領(lǐng)取紅包用戶B1，導(dǎo)出uesr_id明細(xì)作為PSM對(duì)照組圈選范圍輸入，假設(shè)用戶數(shù)為50,000

從對(duì)照組范圍B1中通過PSM建模構(gòu)建出用戶特征和A1相似的用戶B2，一個(gè)實(shí)驗(yàn)組用戶找到一個(gè)特征相似的對(duì)照組用戶，所以B2的用戶數(shù)也為10,000。模型的AUC=0.89，且其他特征匹配值較好。

• 可靠性：AUC>0.85，模型效果較好，匹配結(jié)果可以參考。

• 活動(dòng)補(bǔ)貼效率計(jì)算：實(shí)驗(yàn)組A1樣本量10,000，貢獻(xiàn)的總的GMV為500,000元，總投入成本是50,000元；PSM構(gòu)建的對(duì)照組B2樣本量10,000，貢獻(xiàn)的總的GMV為300,000元，總投入成本是25,000元。最終計(jì)算該大促活動(dòng)的投入產(chǎn)出比為ΔGMV/Δ成本=（500,000-300,000）/（50,000-25,000）=8，那么我們就可以得出該大促活動(dòng)的投入產(chǎn)出比是8，即1元投入帶來8元的GMV。

PSM不是適用于所有的營(yíng)銷場(chǎng)景，一般來說適用于樣本量足夠、實(shí)驗(yàn)效果較為顯著且傾向性建模較為可靠的場(chǎng)景，有些場(chǎng)景下難以定義對(duì)照組的范圍，這個(gè)時(shí)候如果用全量用戶（排除實(shí)驗(yàn)組用戶）作為對(duì)照組的圈選范圍，那么最終的誤差可能較大。

因此建議在能做AB實(shí)驗(yàn)的情況最好還是進(jìn)行AB實(shí)驗(yàn)，在真的無法做AB的情況下再考慮PSM，同時(shí)PSM可以結(jié)合DID+用戶分群提高準(zhǔn)確性。

-End-

　　以上就是為大家介紹的不會(huì)做活動(dòng)的數(shù)據(jù)分析？趕快學(xué)一下如何評(píng)估「營(yíng)銷活動(dòng)效率」，希望對(duì)大家有所幫助，現(xiàn)在互聯(lián)網(wǎng)已經(jīng)進(jìn)入到了短視頻時(shí)代，如果需要抖音廣告開戶，抖音直播間付費(fèi)推廣開戶或者托管的，都可以找我們咨詢，現(xiàn)在開戶優(yōu)惠多多，還有返點(diǎn)，添加微信了解：veteran88