Desain eksperimen A/B

Ingin tahu materi iklan, postingan, atau halaman penjualan mana yang lebih baik? Uji dua versi secara adil dan baca hasilnya dengan benar.

Menjalankan dua materi iklan selama tiga hari, lalu mematikan yang lebih sedikit menerima pesan: cara ini sering salah memilih karena faktor keberuntungan. Semakin sedikit orang yang melihat, semakin mudah keliru. Keterampilan Desain eksperimen A/B mengatasi hal ini: menguji A/B (dua kelompok pelanggan melihat dua versi berbeda pada waktu yang sama lalu hasilnya dibandingkan) secara adil, mengubah tepat satu hal, mengukur tepat satu angka, dan menjalankannya selama cukup hari. Saat membaca hasilnya, keterampilan ini menjelaskan apakah perbedaannya nyata atau hanya karena faktor keberuntungan.

Apa yang dilakukan keterampilan ini untuk Anda

• Menulis hipotesis yang jelas: apa yang diubah, mengapa dianggap lebih baik, dan angka apa yang diharapkan meningkat.
• Menjaga versi B berbeda dari versi A dalam tepat satu hal. Jika ingin mengubah beberapa hal, pisahkan menjadi beberapa pengujian dan beri nilai untuk menentukan mana yang diuji lebih dulu.
• Memilih satu angka utama, 1–2 angka tambahan, dan 1–2 angka yang tidak boleh memburuk (misalnya tingkat pembatalan pesanan, keluhan).
• Memperkirakan jumlah orang yang dibutuhkan setiap versi dan berapa hari harus dijalankan, berdasarkan tabel referensi, minimal 7 hari dan selama satu minggu penuh.
• Menjelaskan cara membagi dua versi secara adil di setiap kanal: iklan Facebook, TikTok, postingan Fanpage, halaman penjualan, email, pesan Zalo OA, dan halaman produk di marketplace.
• Membaca hasil dari file ekspor pengelola iklan atau angka yang Anda ketik, lalu menjelaskan tingkat kepastiannya dengan bahasa yang mudah dipahami.

Berikan tugas hanya dengan satu pesan

"Ingin menguji foto baju yang dibentangkan (A) dengan foto orang yang benar-benar memakainya (B) pada iklan Facebook, karena pelanggan sering bertanya seperti apa saat dipakai. Saat ini menjangkau sekitar 1.500 orang/hari, sekitar 2% mengirim pesan."

Jika kanal, perubahan yang ingin diuji, atau angka yang ingin ditingkatkan belum disebutkan, akan ditanyakan kembali satu kali, maksimal 3 pertanyaan sekaligus. Jika tingkat saat ini belum diketahui, akan diberikan 2–3 skenario agar Anda dapat melihat berapa lama pengujian perlu dijalankan.

Yang Anda dapatkan

• Saat merancang: file Excel di folder thu-nghiem/, yang berisi halaman Rencana (hipotesis, dua versi, ukuran sampel, tanggal mulai, tanggal membaca hasil, tindakan jika B menang, kalah, atau seri), halaman Pemantauan untuk Anda isi setiap hari, dan Checklist sebelum diaktifkan. Aplikasi akan meminta konfirmasi sebelum menyimpan.

• Saat membaca hasil: jawaban di chat berisi langkah perhitungan, kesimpulan, dan tindakan yang sebaiknya dilakukan; jika ingin menyimpannya, tersedia juga file hasil.

Contoh ilustrasi: "A: 40 pesanan/2.000 orang = 2,00% · B: 61 pesanan/2.000 orang = 3,05%. Kesimpulan: Cukup dapat dipercaya, tetapi mendekati ambang batas. Perbedaan sebenarnya bisa sangat kecil hingga sekitar 2 poin persentase: B mungkin hanya sedikit lebih baik daripada A, atau bisa juga hampir dua kali lebih baik."

Yang membedakan keterampilan ini dari pertanyaan AI biasa

• Jujur tentang tingkat kepastian. Tidak pernah menyimpulkan "B pasti lebih baik"; selalu menyertakan tingkat kepastian dan kemungkinan rentang perbedaannya. Jika setiap versi memiliki kurang dari 10 hasil, akan ditulis "data belum cukup".
• Terus terang jika jumlah penonton tidak cukup. Jika perhitungannya menunjukkan pengujian harus berjalan lebih dari 60 hari, akan disarankan untuk mencoba perubahan yang lebih besar, mengukur langkah yang lebih awal (klik, bukan pesanan), atau bertanya kepada pelanggan daripada melakukan pengujian.
• Tidak mencari bagian yang menang setelah melihat hasil. Tidak membagi data berdasarkan usia atau waktu sampai "terlihat B menang", serta mengingatkan agar tidak berhenti terlalu cepat atau mengubah sesuatu di tengah pengujian.
• Menjumlahkan angka dengan aplikasi. Jumlah orang, jumlah pesanan, dan pendapatan setiap versi dalam file panjang akan dijumlahkan secara akurat oleh aplikasi, bukan dihitung dengan perkiraan.

Cocok untuk Anda jika

• Anda memiliki dua materi iklan dan tidak tahu mana yang harus dipertahankan.
• Anda berencana mengubah gambar utama atau cara penyampaian di halaman penjualan, dan ingin tahu apakah perubahan itu layak dilakukan.
• Anda mengirim pesan Zalo OA atau email kepada pelanggan dan ingin menguji dua judul.
• Anda bekerja di bidang pemasaran dalam perusahaan dan membutuhkan data yang jelas untuk memilih versi sebelum membuat laporan.
• Anda sudah menyelesaikan satu pengujian dan perlu membaca angkanya dengan benar.

Yang perlu disiapkan

• Wajib: di mana pengujian dilakukan, apa yang ingin diubah, dan angka apa yang ingin ditingkatkan.
• Sebaiknya ada: jumlah orang per hari dan tingkat saat ini.
• Saat membaca hasil: file ekspor (.xlsx, .csv) dengan kolom nama versi, jumlah orang, jumlah hasil, atau ketik langsung datanya di chat.

Di luar cakupan keterampilan ini

• Tidak mengaktifkan, menonaktifkan, atau mengubah iklan, dan tidak mengirim pesan; Anda menjalankannya sendiri sesuai rencana.
• Postingan Fanpage dan halaman marketplace sulit membagi pelanggan menjadi dua kelompok secara merata, jadi keterampilan ini akan menjelaskan bahwa itu hanya "uji arah" atau "perbandingan sebelum–sesudah".
• Tidak menulis konten untuk dua versi → gunakan Meningkatkan daya persuasif konten & penawaran.
• Tidak membaca laporan iklan secara keseluruhan → gunakan Laporan iklan Facebook.

Gunakan dalam Solo Agent

Setelah membeli, Anda dapat memberikan keterampilan ini kepada staf yang sudah ada dalam tim, atau membuat staf baru untuk menanganinya. Satu staf dapat menguasai banyak keterampilan; asisten akan meneruskan setiap permintaan kepada orang yang memiliki keterampilan yang sesuai.

Sering digunakan bersama: Meningkatkan daya persuasif konten & penawaran · Membuat iklan Facebook · Laporan iklan Facebook