Etsy (e-commerce barang antik/kreatif) baru saja membagikan cara mereka melakukan “hacking” statistik untuk mempercepat durasi A/B testing tanpa mengorbankan akurasi.
Ini bedahannya:
1. ⚠️ Problem Statement (Masalah)
* Waktu adalah Uang: Menunggu A/B test mencapai “Statistical Significance” bisa memakan waktu berminggu-minggu, terutama untuk metrik yang noisy (banyak variasi) seperti GMV (total penjualan).
* High Variance: Perilaku user sangat acak. Sulit membedakan mana kenaikan penjualan karena fitur baru, atau mana yang memang karena user tersebut “sultan” (belanja banyak).
* Bottleneck: Semakin lama tes berjalan, semakin lambat inovasi fitur dirilis.
2. 🛠️ Metodologi & Solusi
Etsy menggunakan teknik Predicted Control Variates (PCV), sebuah evolusi cerdas dari metode CUPED.
* Apa itu CUPED? Singkatan dari Controlled-experiment Using Pre-Experiment Data. Metode standar ini menggunakan data masa lalu user (misal: rata-rata belanja bulan lalu) sebagai jangkar untuk mengurangi variansi data saat ini.
* ML Injection (Upgrade Etsy): Etsy melangkah lebih jauh. Alih-alih hanya melihat data masa lalu secara mentah (seperti CUPED biasa), mereka melatih model Machine Learning untuk memprediksi perilaku user selama eksperimen.
* Logikanya: Jika model memprediksi user A akan belanja $100, tapi ternyata dia belanja $120 setelah kena fitur baru, maka selisih $20 itulah impact murni fiturnya. Model ini membuang “noise” dari variasi alami user secara lebih presisi dibanding CUPED standar.
3. 📈 Findings & Hasil
* Lebih Sensitif: Metode ini terbukti jauh lebih akurat dibandingkan metode CUPED standar.
* Durasi Lebih Singkat: Karena variansi data berkurang drastis, Etsy butuh sampel trafik lebih sedikit untuk mencapai konklusi. Artinya, eksperimen selesai lebih cepat.
* Efisien: Memungkinkan mereka mendeteksi perubahan kecil (small lift) yang sebelumnya “tenggelam” dalam noise data.
4. 💡 Key Takeaways
* ML for Infra: Machine Learning bukan cuma buat fitur produk (rekomendasi), tapi bisa dipakai buat memperbaiki tools internal analitik kita.
* Variance Reduction is Key: Dalam A/B testing, mengurangi noise lebih efektif daripada sekadar memperbanyak sampel (traffic).
* Hybrid Approach: Menggabungkan statistik klasik (Frequentist) dengan kekuatan prediksi ML modern menghasilkan power eksperimen yang luar biasa.
🔗 Baca Paper Lengkapnya:
https://www.etsy.com/codeascraft/reducing-experiment-duration-with-predicted-control-variates
#DataScience #ABTesting #EtsyEngineering #MachineLearning #Statistics #Experimentation #TechBlog
