1. AB testing là gì?
AB Testing là phương pháp dùng để so sánh hai phiên bản của các sản phẩm số, ví dụ: trang web, ứng dụng. Mục đích của AB testing là để xác định phiên bản nào đem lại nhiều lợi ích cho doanh nghiệp hơn (conversion rate cao hơn, doanh thu cao hơn,…)
Ví dụ: Doanh nghiệp có hai phiên bản của email marketing và họ đặt ra câu hỏi phiên bản nào sẽ giúp người dùng nhấn vào nút đăng ký trên email nhiều hơn → Họ tiến hành AB testing.
2. Tại sao cần AB testing?
- Giúp đưa ra quyết định dựa trên dữ liệu: việc quyết định xem doanh nghiệp nên sử dụng phiên bản nào sẽ được dựa trên dữ liệu và số liệu. Thay vì dựa trên dự đoán và giả thiết sẽ làm ảnh hưởng đến trải nghiệm người dùng của doanh nghiệp.
- Tiết kiệm chi phí: việc phát hành 1 sản phẩm tốn khá nhiều chi phí, nên việc xác định sản phẩm nào sẽ đem lại nhiều lợi ích hơn sẽ giảm được rủi ro.
3. AB testing process
3.1. Xác định mục tiêu:
Trước tiên, xác định mục tiêu khi thực hiện AB testing. Doanh nghiệp muốn đạt được điều gì khi so sánh hai phiên bản khác nhau? Hay nói cách khác, chỉ số gì sẽ giúp quyết định phiên bản nào là tốt hơn?
Ví dụ như tăng conversion rate, tăng số lượng sign up, tăng doanh thu…
3.2. Xác định biến cần kiểm định
Biến cần kiểm định là bất kì đối tượng mà doanh nghiệp đang muốn kiểm định.
Ví dụ như nút sign up ở trang đăng ký với hai màu sắc khác nhau, hai layout nội dung trên landing page,..
3.3. Tạo môi trường kiểm định
Chia làm hai môi trường: control (group A) và treatment (group B)
- Control (group A): môi trường này sẽ chứa đối tượng/phiên bản của sản phẩm hiện tại/cũ
- Treatment (group B): môi trường này sẽ chứa đối tượng/phiên bản của sản phẩm mới/cần kiểm định
3.4. Chia người dùng
Chọn ra 1 tệp người dùng mẫu, và chia ngẫu nhiên tệp này thành hai tệp khác nhau. Một tệp sẽ nhìn thấy môi trường Control và tệp còn lại sẽ nhìn thấy tệp Treatment.
3.5. AB testing
Sau khi chia người dùng thành hai tệp Control và Treatment, mình sẽ bắt đầu tiến hành AB testing. Hai tệp người dùng này sẽ được nhìn thấy môi trường Control và Treatment trong một khoảng thời gian nhất định, và nhiệm vụ của chúng ta là quan sát và ghi nhận các tương tác của người dùng trong khoảng thời gian này tương ứng với mục tiêu đã đề ra lúc đầu.
3.6. Thu thập kết quả và phân tích
Sau khi tiến hành AB testing xong, chúng ta sẽ thu thập kết quả và phân tích. Kết quả ở đây chính là số lượng người dùng trong tệp Control và Treatment đã tương tác với hai phiên bản tùy theo mục đích ban đầu của AB testing.
Ví dụ: Mục tiêu ban đầu của AB testing là kiểm định xem phiên bản email marketing nào sẽ làm người dùng nhấn vào nút Đăng ký nhiều hơn.
Lúc này, kết quả chúng ta cần thu thập để phân tích chính là số lượng người dùng đã nhấn vào nút Đăng ký trong cả hai nhóm Control và Treatment để đem đi so sánh và phân tích.
Việc chọn ra được phiên bản nào là tốt nhất và phù hợp với mục tiêu ban đầu sẽ cần dựa vào hai yếu tố chính: Độ tin cậy thống kê (Statistic Significant) và Độ tin cậy thực tế (Practical Significant)
Độ tin cậy thống kê (Statistic Significant): Kết quả thu nhập được có thỏa mãn độ tin cậy về mặt thống kê hay không.
Ở đây, chúng ta sẽ dùng các biện pháp kiểm định giả thuyết (Hypothesis Testing) như là Chi-square hoặc z-test để kiểm định.
- Chi-square: nếu p-value < 0.05 ⇒ Kết quả đáng tin cậy về mặt thống kê
- z-test : z-value > z-standard (1.96 cho vùng tin cậy là 95%) ⇒ Kết quả đáng tin cậy về mặt thống kê
Độ tin cậy thực tế (Practical Significant): Kết quả thu thập được có thỏa mãn về nhu cầu của doanh nghiệp hay không.
Ví dụ, doanh nghiệp mong muốn sẽ tăng số lượng Đăng ký với phiên bản email marketing mới lên 10%. Nếu kết quả thu thập được trong AB testing tăng nhiều hơn 10% ⇒ Kết quả đáng tin cậy về mặt thực tế
4. Lưu ý khi làm AB testing
4.1. Độ ngẫu nhiên trong việc chia hai nhóm người dùng
Người dùng phải được chia ngẫu nhiên thành hai nhóm để đảm bảo các tính chất và đặc trưng của lượng người không ảnh hưởng đến việc tiến hành AB testing. Người dùng trong hai nhóm đều cân bằng và không bị lệch.
4.2. Đảm bảo quá trình AB testing không bị ảnh hưởng bởi yếu tố bên ngoài
Yếu tố bên ngoài ví dụ như khuyến mãi, thời tiết, mùa săn sale,.. Có thể ảnh hưởng hành vi của người dùng trong việc tương tác với AB testing. ⇒ Phải đảm bảo AB testing phải được diễn ra trong điều kiện hoàn hảo và không bị ảnh hưởng bởi yếu tố bên ngoài.
Data Coaching 1 on 1 – người bạn đồng hành giúp các bạn đạt mục tiêu apply vị trí Data Analyst thành công
Data Coaching 1 on 1 là dự án coaching của công ty TNHH UniGap – với sứ mệnh thu hẹp khoảng cách giữa trường đại học và nơi làm việc bằng phương pháp phù hợp, chi phí tối ưu và mục tiêu được cam kết.
Khoá Data Analyst Coaching 1 on 1 là khoá coaching giúp các bạn đang tự học Data Analyst đạt mục tiêu apply Data Analyst thành công trong 6 tháng. Đặc biệt phù hợp với các bạn dưới 27 tuổi, đang muốn tham gia ngành Data và cần có một đội ngũ thực chiến chuyên nghiệp đồng hành để giúp bạn đi nhanh hơn, cam kết đạt mục tiêu thành công.
Bạn có thể liên hệ để đặt lịch tư vấn miễn phí tại đây.
Data Coaching 1 on 1 – UniGap /Right mindset – True Success/
- Xem ngay Lộ trình học Data Analyst chuyển ngành thành công
- Tư vấn chuyển ngành Data Analyst miễn phí tại đây
- Tham gia Vietnam Data Analyst Forum – #1 Informative Group để học hỏi và chia sẻ kiến thức
- Cập nhật lịch khai giảng & chương trình ưu đãi tại Data Coaching 1 on 1 – UniGap
