통계적 유의성
한 줄 정의
두 그룹의 성과 차이가 우연히 생긴 것으로 보기 어려울 만큼 뚜렷한지를 판단한 결과입니다. 미리 정한 기준(유의수준)보다 p값이 작으면 "통계적으로 유의하다"고 말합니다.
계산식
판정 규칙: p값 < 유의수준(α) → 통계적으로 유의함
신뢰수준 = 1 − α (예: α = 0.05 → 신뢰수준 95%)
용어 풀이 (미국 국립표준기술연구소 NIST 통계 핸드북 기준)
- 귀무가설: "두 안에 차이가 없다"는 출발 가정입니다.
- p값: 귀무가설이 참이라고 가정할 때, 지금 관측한 결과와 같거나 더 극단적인 결과가 나올 확률입니다. 작을수록 "차이가 없다"는 가정과 맞지 않습니다.
- 유의수준 α: 귀무가설이 실제로 참인데도 잘못 기각할 비율을 얼마까지 감수할지 정한 값입니다. NIST는 실무에서 0.1, 0.05, 0.01을 흔히 쓴다고 설명합니다. α = 0.05면 실제로 차이가 없어도 약 5%는 "차이 있음"으로 잘못 판정할 수 있다는 뜻입니다.
- 신뢰수준(1−α): 같은 방식으로 표본을 뽑아 구간을 여러 번 만들면, 95% 신뢰수준에서는 그 구간의 약 95%가 참값을 포함한다는 의미입니다.
개념 예시(가상 숫자, 검정 계산은 생략):
- 기준 α = 0.05(신뢰수준 95%)로 정함
- 랜딩 A/B 테스트 결과 p값 0.03 → 0.03 < 0.05 → 유의함
- 소재 A/B 테스트 결과 p값 0.12 → 0.12 > 0.05 → 유의하지 않음 (차이가 있어 보여도 우연일 가능성을 배제하지 못함)
광고 플랫폼 예: 구글 Ads 실험은 측정항목 변화율의 분산을 잭나이프 리샘플링으로 계산하고, 95% 신뢰 구간의 양측 검정으로 유의성을 판단한다고 안내합니다.
쉽게 풀어 말할 때
"동전을 10번 던져서 앞면이 6번 나왔다고 '이 동전은 앞면이 잘 나온다'고 하긴 어렵잖아요. 우연으로도 충분히 그럴 수 있으니까요. 광고 A안이 B안보다 조금 잘 나왔을 때도 마찬가지예요. '이 정도 차이면 우연이라고 보긴 어렵다'는 선을 넘었을 때 유의하다고 해요."
업계 말로 말할 때
- "B안이 CVR은 높은데 p값이 0.2라 아직 유의하지 않습니다. 표본 더 모으고 판단하겠습니다."
- "구글 실험 화면에서 95% 기준으로 유의하게 나왔으니 B안 적용하겠습니다."
- "유의한 건 맞는데 차이가 0.1%p라 매출 영향은 미미해요. 실무적으로 의미 있는지는 따로 보죠."
실무 팁
- 기준(α)은 테스트 전에 정합니다. NIST도 검정 전에 p값이 얼마나 작아야 기각할지 미리 정하라고 권합니다. 결과를 보고 기준을 바꾸면 판정이 의미가 없어집니다.
- "유의함"과 "중요함"은 다릅니다. 표본이 아주 크면 아주 작은 차이도 유의하게 나옵니다. 차이의 크기(예: CPA가 몇 원 줄었는지)와 비용을 함께 보고 적용 여부를 정합니다.
- p값을 "B가 이길 확률"로 읽지 않습니다. p값은 "차이가 없다고 가정했을 때 이런 결과가 나올 확률"입니다. p값 0.03을 "B가 97% 확률로 낫다"로 말하면 틀린 해석입니다.
헷갈리기 쉬운 말
확인 퀴즈
유의수준을 0.05로 정한 테스트에서 p값이 0.08이 나왔습니다. 올바른 해석은?
정답과 풀이 보기
정답: 2번. 0.08은 0.05보다 크므로 유의하지 않습니다. 1번은 p값을 "이길 확률"로 잘못 읽은 경우, 3번은 판정 방향을 거꾸로 적용한 경우입니다. 4번처럼 "유의하지 않다"가 "차이가 전혀 없다"를 증명하는 것은 아닙니다.