AB測試勿盲目解讀數據
透過AB測試進行假設檢定，精準優化轉換率
哎呦喂 講到這個AB測試齁 真的不是大家想的那麼簡單啦 就按個按鈕跑個數據而已喔 啊～ 很多人齁 尤其是剛開始做數位行銷的新手 常常會犯一個超級大的錯誤 就是假設檢定根本亂做一通 啊你數據跑出來 那個p值到底代表什麼意思 你有沒有真的搞懂啦 還是隻是看哪個版本點擊率高 就覺得「喔耶這個贏了」 然後就上線了 結果根本沒差 甚至更慘 轉換率還給我往下掉 真的會氣死捏
啊說到這個 我前陣子纔跟一個做電商的朋友在聊啦 他就在那邊哀 說他做了好幾輪A/B測試 換了超多版廣告素材 那個點擊率是有高一點點啦 但轉換率就是死都不動 啊我一看他的做法 整個暈倒 他齁 一次改超多東西 從標題、圖片、行為召喚按鈕的顏色到文案全部一起換 然後問我為什麼找不到問題在哪 這不是很明顯嗎 你這就是犯了多變量測試的禁忌啊 啊你一次動那麼多操縱變因 最後就算贏了 你也不知道是哪一個改動生效的 啊如果輸了 你更不知道是哪一個改動在搞鬼 整個測試等於白做 錢跟時間都丟水溝啦 真的母湯喔
所以齁 正規的作法應該是這樣啦 你要先有一個很清楚的假設 而且這個假設要基於數據分析或是市場調查 不能憑感覺亂猜 例如說齁 你覺得「把這個購買按鈕從藍色改成紅色 因為紅色比較醒目 所以會提升轉換率」 好 這就是一個可以測試的假設 然後你就要設定好控制變因 除了按鈕顏色 其他所有條件 像網頁介面設計、流量來源、受眾族羣 通通都要一樣 這樣子跑出來的結果 你纔能有信心說 啊這個轉換率的變化 真的就是按鈕顏色造成的啦 這就是統計學在背後支撐的循證實踐 不是靠玄學喔https://day-break.tw
啊我跟你講齁 那個數據管理的觀念真的很重要啦 你測試跑完 不是隻看表面數字耶 什麼「A版本轉換率2.5% B版本2.7% 所以B贏了」 事情沒那麼簡單啦 你要去看統計學上的顯著性 通常業界標準是95%信心水準啦 啊這個就要靠假設檢定的工具去算 有些廣告管理員後臺或測試平臺會直接幫你標示「顯著」或「不顯著」 那個一定要看啦 如果結果不顯著 就算數字有高那麼一點點 那也很可能只是隨機波動 你貿然全面採用 風險超大捏https://day-break.tw
我朋友後來就學乖了啦 他改成一次只測試一個元素 而且乖乖等樣本數夠了、結果顯著了才做決定 他後來測試一個結帳頁面的流程 就只是把行為召喚的文案從「立即購買」改成「馬上帶回家（免運費）」 齁 那個轉換率就默默提升了快15% 而且信心水準超高 他整個嚇到 原來使用者體驗的魔鬼都藏在這種細節裡 啊這也連帶讓他的廣告效益跟整體投資報酬率變好 因為進來的客人更容易買單了嘛 這纔是真正的精準優化啦
啊不過齁 也不是說多變量測試完全不能用啦 只是那比較適合資源很夠、技術團隊很強的大型企業在做數位化轉型那種大規模網站優化的時候用 因為它可以同時檢視多個變數之間的交互作用 但那個數據分析的複雜度 跟需要的流量（樣本數） 都是指數級上升的啦 一般中小型公司或個人賣家 還是乖乖做標準的A/B測試 一次一題 把基礎打穩比較實在啦 你說對不對
對了 突然想到 還有一個地雷是受眾分析沒做好啦 啊你同一則廣告 對年輕族羣跟對熟齡族羣的效果一定不一樣嘛 你如果沒有做好分眾 把所有人混在一起測試 結果就會被平均掉 看起來沒效果 但其實可能對某個特定族羣超有用 這就需要你在做測試前 先用廣告投放的設定把受眾切乾淨 或是用更進階的分桶測試方法 這又是另一個層次的學問了啦 總之齁 數位行銷這條路 就是要一直學一直測試 沒有一步登天這種事啦 大家共勉之啦 啊～ 講這麼多 我口水都乾了 先這樣啦