[제로베이스 PM 파트타임 스쿨] 5주차 - 실험설계 : Target User, 분기 단위와 분석 단위

수강한 강의

제로베이스 PM 파트타임 스쿨 

• Chapter 8 서비스 기획 업무
• 24. 실험 설계_Target User
• 25. 실험 설계_AB Testing sample size calculator
• 26. 실험 설계 _분기 단위와 분석 단위

주차

5주차

강의 요약

• 실험설계
  • Target User
    • 어떤 유저 대상으로 실험을 수행할 것인가?
    • 실험군의 모수 설정
      • 많은 유저가 사용하고 있는 서비스의 경우
        • 실험의 부작용을 최소화 하기 위해 실험군을 5~10%로 설정하는 경우가 일반적
      • 초기 단계의 스타트업인 경우
        • 유의미한 실험 모수를 빠르게 확보하기 위해 50% 가량으로 진행하기도 함
    • 샘플 사이즈
      • 샘플 수가 많을 수록 결과의 신뢰도가 올라간다
      • 다양한 A/B testing sample size calculaotr가 있어서 쉽게 계산 가능
  • 분기 단위와 분석 단위
    • 분기 단위
      • 어떻게 나눌 것인가?
      • A/B test 진행 시 A,B가 랜덤이어야만 두 그룹의 차이점이 Stimulus에 의한 변화라고 확신할 수 있게 됨
      • 랜덤으로 자주 사용되는 것
        • ID : 안정성이 높음 (회원의 아이디가 아니라 DB상에 저장된 고유 ID를 의미)
        • event : 유저가 특정 행동을 했을 때 무작위로 A 혹은 B의 결과를 보여줌 ( 유저 : 1 , 이벤트 : n )
          • 가장 랜덤화된 샘플을 뽑을 수 있으나, 서비스의 일관성이 떨어질 수 있음
          • 유저가 눈치채지 못할 변화에만 사용해야 함
    • 분석 단위
      • A/B Test를 통해 영향을 주고자 하는 최소 단위
      • 지표의 분모
        • 지표가 ARPU ( 총 구매액 / 회원 수 ) 라면 분석 단위는 회원
      • 분기 단위를 정할때는 분석 단위와 일치 시키는 것이 바람직
        • 분석하고 싶은 단위 : 회원인 경우
          • 분기 단위가 페이지뷰로 분기되어있다면 한명의 회원이 여러개의 페이지 뷰를 만들 수 있음
          • 이 경우 각 페이지뷰는 동일 회원이 만들었으므로 독립성이 없음
          • 실험 데이터가 왜곡될 가능성이 큼

생각 정리 & 적용점

오늘은 AB Test시 고려해야 할 사항 중 하나인 실험 설계에 대해서 공부했다.

 

강사님을 따라서 쭉 들으면 이해가 가지만 강의를 다 듣고 필기 해놓은 내용들을 보면 '이건 뭐였지..?' 하는 부분들이 꽤 있었다.

분기 단위와 분석 단위를 일치시키는 부분이 잘 이해가 안돼서 강의를 돌려보면서 학습했다.

 

Unit Of Diversion에서 자주 사용되는 event 항목을 보면서 내가 경했던 서비스를 떠올릴 수 있었다.

 

같은 서비스인데도 친구랑 나의 응답 화면이 다른 경우가 종종 있었다.

당시에는 버그인가...? 생각하면서 딱히 서비스 이용에 큰 영향을 주지 않아서 넘어갔었다.

지금 생각해보니 만약 나 혼자 해당 서비스를 이용했더라면 눈치채지 못할 변화라고 생각이 들면서 오늘 학습한 Unit Of Diversion 내용이 좀 더 직관적으로 다가왔다.

 

AB Test에 관한 강의를 다 듣고 다시 한번 돌려봐야겠다.

 

돌려보면서 개념을 다시 익히고 실습도 진행해봐야겠다!

이 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다.