[제로베이스 PM 파트타임 스쿨] 13주차 - 실험 결과 분석 및 후속 액션, 추천 사이트 및 도서

수강한 강의

제로베이스 PM 파트타임 스쿨 

• Chpater 28. 콴다 PO가 알려주는 기획 프로세스
• 6. 실험 결과 분석 및 후속 액션
• Chapter 17_18. 추천 사이트 및 추천 도서

주차

13주차

강의 요약

• 실험 결과 분석 및 후속 액션
  • 결과 분석 시 우선적을 중요하게 봐야할 부분
    • 주요 지표들 (성공/가드레일)을 체크하고, 통계적 유의성을 검증하는 것
  • 통계적 유의성
    • 모집단에 대한 가설이 가지는 통계적 의미
    • 통계적으로 유의하다 => 실험 결과가 단순한 우연이 아니라는 뜻
    • 통계적으로 유의하지 않다 => 실험 결과가 단순한 우연일 수도 있다
  • 통계적 유의성을 확인하면 실험결과가 우연인지 아닌지를 판단할 수 있음
  • p-values (P 값)
    • 통계적 유의성을 검증하기 위해 p-value 값을 사용
    • 보통은 5%(0.05)를 기준으로 판단함
    • p-value가 5%작으면 통계적으로 유의하다고 판단
    • 단순한 수치의 차이보다 p-value를 보며 실험의 결과를 판단해야함
  • 후속 액션
    • User Research
      • 실험을 통해 데이터는 나왔지만, 데이터 이면에 숨겨진 유저들의 생각과 의도까지는 파악하기 어려운 경우가 많음
      • 보통 미리 세워둔 가설을 통해 유저들의 생각과 의도를 파악
      • 불충분하다고 느끼는 경우 추가적으로 유저 인터뷰를 통해서 이를 알아볼 수 있음
  • 전면 배포 & 대시보드 세팅
    • 실험이 성공했다면, 실험군에 적용했던 조작변인을 전체 서비스에 적용하는 전면 배포 과정
    • 개발은 이미 끝난 상황이기 때문에 개발자와 함께 전면 적용 시 고려해야할 부분이 추가적으로 없는지 검토 후 배포
    • 배포 시, 조직 내에 적용내용을 공유해야 함
    • 실험 진행을 위한 모니터링 대시보드를 다시 제품 헬스체크 및 지표확인용 대시보드로 바꿔주어야 함
• 추천 사이트 및 추천 도서
  • Medium 
    • https://medium.com/design

Medium.design

• 글로벌 서비스
• 세계적으로 트렌디한 글, 다른나라에서는 어떻게 하고 있는지 알 수 있음
  • Brunch
    • https://brunch.com
    • 국내 서비스
• 디자인 스타일
  • 핀터레스트 
    • https://www.pinterest.co.kr
    • 영감을 주는 디자인 결과물 모음
  • 비핸스
    • https://www.behance.net/design
    • 결과물 전시 공유, 디자인 포트폴리오
• 비핸스, 미디엄, 브런치는 주기적으로 봐주면 도움이 많이 됨
• 추천 도서
  • OKR 전설적인 벤처투자자가 구글에 전해준 성공 방식
    • OKR 수립하는 방법 및 사례
  • Data Driven UX
    • 데이터 분석이 필요한 사람들의 첫걸음을 도와주는 입문서
  • UX/UI의 10가지 심리학 법칙
    • 심리학 이론을 어떻게 실무에 연결할지에 대해서 감을 잡을 수 있음
  • 비전공자를 위한 이해할 수 있는 IT 지식
    • IT 업계에서 쓰는 용어들을 다양한 사례를 통해 소개한 책
  • 조직을 성공으로 이끄는 프로덕트 오너
    • 프로덕트 오너의 역할과 필요 역량에 대해 소개해준 책
  • 처음부터 다시 배우는 서비스 디자인 씽킹
    • 리서치 방법론을 사례와 실무에 어떻게 적용을 할지에 대해 알 수 있는 책

생각 정리 & 적용점

오늘은 실험 결과 분석, 여러가지 책과 도움이 되는 사이트들에 대해서 수강했다.

 

실험 결과 분석 부분에서 "통계적 유의성" 이라는 말을 처음 들었다.

"통계적으로 유의하다" 이런 말은 평상시에는 많이 안쓰기 때문에 감을 잡기 어려웠다.

 

알고보니까 통계적으로 유의미하다랑 일맥상통한 뜻이었다.

 

또, 결과를 분석할 때 단순한 값들의 비교보다는 p-value를 보면서 결과를 판단해야 한다는 사실도 리마인드 할 수 있는 시간이었다.

 

실험을 잘 해도 결과 분석을 못하면 의미가 없기 때문에 오늘 배운 내용을 잘 숙지하고 기획해야겠다!

 

이 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다.