[제로베이스 PM 파트타임 스쿨] 5주차 - 실험 설계_Duration 과 Variation 설정, 실험 진행, AB Test 시 주의사항

수강한 강의

제로베이스 PM 파트타임 스쿨 

• Chapter 8 서비스 기획 업무
• 27. 실험 설계_Duration 과 Variation
• 28. 실험 진행, AB Test 시 주의사항 

주차

5주차

강의 요약

• 실험 설계 _ Duration, Variation
  • Duration
    • 보통 기간이 길수록 정확성 높아짐
    • 명절과 같은 특수한 이베트가 기간에 포함될 경우 결과 분석에 유의해야 함
  • Variation
    • 어떤 것을 다르게 보여줄 것인지
    • 둘의 차이가 너무 복합적이면 유의미한 결과 해석이 어려워짐
    • 최대한 실험 단위를 쪼개서, 영향력을 확인하고 싶은 부분을 제외하고는 통제하는 것이 좋음
• 실험 진행
  • AB Test의 분기가 제대로 이뤄지고 있는지 파악해야 함
  • 실험 기간이 너무 짧을 경우, 유의미한 결과값을 얻을 수 없을 가능성이 높음
  • 지속적으로 데이터를 확인하면서 통계성 유의미성이 확보되었는지 확인해야 함
  • 결과 분석
    • 통계적 유의성 확인
      • 실험군, 대조군의 각각의 모수와, 전환 유저 값을 통해서 유의미도를 계싼
      • 여러가지 웹 사이트를 통해서 계산 가능
        • https://abtestguide.com/calc/

A/B-Test Calculator - Power & Significance - ABTestGuide.com

 

• 불변 지표 확인
  • 실험 과정이 문제 없었는지 점검하기 위해서 실험 과정에서 변하면 안되는 수치니 '불변 지표'를 확인해야 함
• AB Test 시 주의해야 할 사항들
  •  AB Testing은 최적화 도구일 뿐, 큰 그림은 보여주지 못함
    • 완전히 새로운 기능을 추가하거나, 훨씬 높은 단계의 의사결정에 관해서는 효과적이지 못함
    • 산을 잘 올라가고 있는지 말해주지만, 어느 산에 올라가야 하는지 말해주지 못함
  • 대부분의 가설은 틀린다는 것을 명심해야 함
    • 스스로 만든 가설이 잘못된 가설이었다는 것에 두려움을 갖는다면, 올바른 자료 해석이 불가능함
    • 실험을 통해 잘못된 가설이었다는 것을 증명하는 것도 매우 큰 성과이므로 두려움 없이 결과를 직면해야 함
  • 실험을 너무 빨리 끝내면 안됨
    • 많은 기업에서 공들여 AB Test를 진행하지만, 정작 실험의 결과 통계적 유의미성이 낮은 상황에서 실험을 조기 종료하는 경우가 많음
    • 여유를 가지고 실험 결과를 기다려야 함
  • 너무 많은 변인을 한꺼번에 테스트하면 안됨
    • 한번에 여러가지 테스트를 진행하고 욕심을 부리는 경우, 정작 실험결과에 영향을 미친 변인이 무엇인지 해석할 수 없게 됨

생각 정리 & 적용점

오늘은 AB Test 시 주의해야 할 사항에 대해서 공부했다.

 

'산을 잘 올라가고 있는지 말해주지만, 어느 산에 올라가야 하는지 말해주지 못함'

 

위 말이 되게 마음에 와닿았다.

 

길을 잘 가고있는지를 판별해줄 뿐, 맞는 길인지를 판단해주지 않은 테스트임을 확실하게 알게 해주는 표현이었다.

또, 실험을 너무 빨리 끝내면 안된다는 점에서 모든 일과 비슷하다고 생각했다.

 

거의 대부분의 일을 빨리 끝내기보다는 시간을 두고 여유있게 기다려야 유의미한 결과를 얻을 수 있기 때문에 더 기억에 남았다.

 

AB Test의 결과가 유의미한지 아닌지 계산해주는 사이트들도 많이 알아놨으니 후에 사용해봐야겠다!

이 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다.