[제로베이스 PM 파트타임 스쿨] 5주차 - AB Test, AB Test를 하는 이유, AB Test의 진행 프로세스

수강한 강의

제로베이스 PM 파트타임 스쿨 

• Chapter 8 서비스 기획 업무
• 20. AB Test
• 21. AB Test를 하는 이유
• 22. AB Test 진행 프로세스_목표 설정 및 가설 수립
• 23. AB Test 진행 프로세스_설계 지표

주차

5주차

강의 요약

• AB Test
  • 임의로 나눠진 두 집단 ( A / B ) 에게 서로 다른 UI / UX 등을 제시하고, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 정량적으로 평가하는 방식
  • 대부분의 IT기업에서 데이터 기반 의사 결정의 도구로 활용하고 있음
    • google, amazon, facebook : 매년 10,000 개의 실험 진행
    • bing : 300개 이상의 실험이 매주 완료됨
    • Uber : 1,000개 이상의 실험 상시 진행
    • Airbnb : 500 개 이상의 실험 상시 진행
  • 대표적인 데이터 기반의 의사결정 및 서비스 기획 방법
• AB Test를 하는 이유
  • 급변하는 시장에서, 정답은 아무도 모름
  • 쉽고 빠르게 테스트할 수 있는 환경에서 경험있는 개인에게 의지하는 것은 너무 위험, 비효율
  • 아무리 뛰어난 인재라도 세운 가설이 틀릴 확률이 높음
    • 최고의 인재가 모인 구글, 마이크로소프트 등에서 하는 실험의 10~30%만이 긍정적인 결과를 얻음
• AB Test의 진행 프로세스
  • 목표 설정
    • AB 테스트를 진행할 때 반드시 테스트의 목표를 구체화 해야함
    • 명확한 목표가 있어야 유의미한 지표 선정 및 가설 설정이 가능
    • 명확한 목표를 세웠다면 그에 맞는 지표 설정
      • 서비스 가입자를 늘리고 싶다면 서비스 가입 전환율
      • 버튼 클릭 인원을 늘리고 싶다면 버튼 클릭 전환율
    • 지표를 설정할 때 분자와 분모를 명확히 해야함
      • 동일한 가입 전환율이라도 분모가 가입페이지 방문자 수인지, 인스톨 유저인지에 따라서 값에 크게 차이나기 때문
• 가설 수립
  • 어떤 일을 해야 해당 지표가 개선될 수 있을지에 대한 가설을 수립해야 함
  • 가설을 기반으로 어떻게 실험을 진행할지, 무엇을 학습할지가 결정되므로 신중하게 가설을 세워야 함
  • 가설을 결정하기 전
    • 가설이 목표와 얼라인되는지 반드시 확인
    • 해당 가설과 관련된 정보를 충분히 탐색하는 것이 중요
    • 이미 회사에서 진행되었던 다양한 실험을 꼼꼼하게 파악해야 자원낭비를 줄일 수 있음
• 실험 설계
  • 지표 설정
  • 지표의 종류
    • 합계 지표
    • 평균이나 중앙값
    • 비율
  • 민감도와 강건성
    • 아무 변화도 가하지 않았는데 들쑥날쑥하는 지표는 강건성이 낮아 실험에 적절한 지표라고 볼 수 없음
    • 어떠한 변화를 가해도 크게 변화하지 않는 지표는 충분히 민감하지 못해 적절한 지표라고 볼 수 없음

생각 정리

오늘은 AB Test에 대해 수강했다.

 

항상 얘기만 많이 들었지만 정확히 어떤 테스트인지 알 지 못했는데 이번 시간을 통해 기본적인 개념에 대해서 알 수 있었다.

개발자로 근무할 때 버그잡는 느낌과 비슷했다.

의심가는 부분만 바꾸고 나머지 환경들을 동일하게 설정한 상태에서 버그수정을 했었다.

똑같지는 않지만 두가지 결과물을 비교한다는 것에서 비슷하다는 느낌을 받았다.

 

신입으로 입사하게 된다면 기존에 진행되었던 ABTest들의 결과를 참고해서 좋은 ABTest를 진행시켜봐야겠다!

이 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다.