[제로베이스 PM 파트타임 스쿨] 13주차 - 실험 설계, 실험 개발 및 배포 후 진행

수강한 강의

제로베이스 PM 파트타임 스쿨 

• Chpater 28. 콴다 PO가 알려주는 기획 프로세스
• 4. 실험 설계하기
• 5. 실험 개발 및 배포 후 진행

주차

13주차

강의 요약

• 실험 설계
  
  • 결정해야 하는 항목
    • 실험 대상
      • 실험을 진행할 타겟 고객
      • 유의 사항
        • 실험을 하려는 목적과 실험의 대상이 일치하는지 확인해야함
    • 실험 기간
      • 실험을 진행하는 기간
      • 시작 날짜와 종료 날짜를 명확하게 표시해주는 것이 좋음
      • 실험 관련 개발 및 테스트 진행 상황에 따라 실험 기간 변경 가능
      • 실험 진행 중 다른 요인에 의해 실험 기간 조정 가능
      • 유의 사항
        • 적절한 실험 기간 설정 필요
        • 서비스 특성과 통계적 유의성이 확보될 수 있는지를 고려해야 함
        • 서비스 특성인 경우, 서비스마다 이용 주기에 차이가 있어 발생하게 됨
        • 요일별 (주중, 주말)로 편차가 발생할 수 있기 때문에 실험 기간을 최소 1주 이상으로 잡는 것이 좋음
    • 조작 변인
      • 가설을 검증하기 위해 실험군과 대조군 간 변화를 주는 요소
      • 조작 변인은 여러개가 될 수 있음
      • 조작 변인은 늘어날수록 시렇ㅁ군의 개수도 늘어나게 됨
      • 조작 변인을 어떻게 설정하느냐에 따라 리소스가 결정됨
      • 유의 사항
        • 조작 변인을 설계할 때 실험을 진행하려는 가설이 조작 변인을 통해 검증될 수 있는지 확인 필요
        • 조작 변인 외에 다른 부분에서는 변화가 있지 않도록 설계 시 주의해야 함
    • 인원
      • 몇 명의 인원에게 실험할 지
      • 실험군과 대조군에는 동일한 인원이 배정되어야 함
    • 성공 지표
      • 실험의 목표가 되는 지표
      • 실험의 성공/실패를 판단하는 지표
      • 지표에 대한 정의와 함께 목표 숫자까지 설정하는 것이 좋음
      • 유의 사항
        • 성공 지표를 고를 때는 어떤 것의 결과가 되는 지표가 아니라 그 지표를 구성하고, 우리가 변화를 만들 수 있는 지표를 고르는 것이 좋음
    • 가드레일 지표
      • 실험으로 인해 영향을 받아 안좋아지면 안되는 지표
      • 어떤 실험을 할 때 특정 지표에 안좋은 영향을 줄 수 있기 때문에, 이럴 것으로 예상되는 지표가 있다면 이 지표를 가드레일 지표로 설정하고 모니터링 하는 것이 필요
  • 보조 지표
    • 실험이 영향을 주는 참고성 지표
    • 성공 지표가 올라감으로써 연관된 다른 지표에도 영향을 줄 수 있음
• 실험 설계 이후 프로세스
  • 조작 변인 관련 상세 PRD 작성
  • 조작 변인 관련 디자인 진행
  • 개발
  • QA
  • 배포
  • 실험 시작
• 실험 관련 개발 과정에서 고려해야 할 항목
  • 개발 시 확장성 고려하기
    • 단발성 실험이 아닌, 이번 실험의 결과에 따라 후속 실험이 추가로 필요하다고 판단되는 경우
    • 후속 실험에 대한 계획을 간단하게라도 공유해서 복잡도가 적고, 확장성이 있는 방식으로 개발을 하는 것이 좋음
  • 실험 시작 전 모니터링 대시보드 세팅

생각 정리 & 적용점

오늘은 실험 설계, 설계 이후 프로세스에 대해 수강했다.

 

실험 설계하는 과정이 생각보다 복잡해서 놀랬다.

 

강의를 듣기 전에는 실험하고자 하는 부분만 놓고 비교한다고 생각했었는데 여러 지표를 고려해야 한다는 사실을 새로 알았다.

 

가드레일 지표나 조작 변인 관련해서 PM이 신경을 많이 써야 할 것 같다고 생각했다.

 

또, 실험 기간도 단순히 30일 이렇게 정하는 것이 아니라 실험, 서비스의 특성을 고려해서 요일까지 생각해야 한다는 내용을 보고 PM이 되려면 생각보다 더 꼼꼼하게 봐야한다는 사실을 새삼스레 다시 느낄 수 있었다.

 

모니터링을 할 수 있는 대시보드도 중요한데 이것에 대한 리소스는 어떻게 해야할지에 대한 궁금증도 생겼다.

 

실제 기획자로 근무하고 있는 지인에게 물어봤을 때는 따로 시간을 빼서 모니터링 관련 스케줄도 잡는다는 답변을 받았다.

 

내가 기획자로 근무하게 된다면 대시보드는 스스로 만들 수 있으니까 조금 더 시간을 아낄 수 있는 기획자가 될 수 있을 것 같다!!

 

이 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다.