A/B 테스트
한 줄 정의
대상을 무작위로 겹치지 않게 나눈 뒤 한 가지 조건만 다르게 해서 보여 주고, 어느 쪽 성과가 나은지 비교하는 실험입니다. 메타 마케팅 API 문서에서는 split testing(분할 테스트), 구글 Ads에서는 "실험"이라는 기능으로 제공합니다.
계산식
변화율(%) = (B안 지표 − A안 지표) ÷ A안 지표 × 100
- 예시(가상 숫자): A안 방문 1,000명 중 전환 30건 → CVR 3.0%, B안 방문 1,000명 중 전환 39건 → CVR 3.9% → (3.9 − 3.0) ÷ 3.0 × 100 = 30% 상승
- 이 숫자만으로 "B가 이겼다"고 할 수는 없습니다. 차이가 우연인지 보는 통계적 유의성을 함께 봐야 합니다. 구글 Ads 실험은 측정항목의 백분율 변화에 대해 95% 신뢰 구간의 양측 검정으로 유의성을 판단한다고 안내합니다.
쉽게 풀어 말할 때
"광고 문구를 두 개 만들어서 손님을 반반 나눠 하나씩만 보여 주는 거예요. 나머지 조건은 다 똑같이 두고요. 그러면 성과 차이가 문구 때문이라고 말할 수 있죠. 다만 손님이 몇 명 안 되면 우연히 차이가 날 수도 있어서, 충분히 모일 때까지 기다려야 해요."
업계 말로 말할 때
- "랜딩 헤드카피만 바꿔서 50:50으로 A/B 걸었습니다. 유의미하게 갈릴 때까지 2주 보겠습니다."
- "B안이 CVR은 높은데 아직 유의성이 안 나와서 승자 판정은 보류할게요."
- "이번엔 소재랑 타겟을 동시에 바꿔서 뭐 때문에 좋아졌는지 모르겠어요. 다음 테스트는 변수 하나만 바꾸죠."
실무 팁
- 변수는 한 번에 하나만 바꿉니다. 구글 Ads 실험 안내와 메타 문서 모두 한 번에 하나의 변수만 테스트하라고 권합니다. 여러 개를 바꾸면 무엇이 결과를 만들었는지 알 수 없습니다.
- 판정 지표를 미리 정합니다. 구글은 측정항목을 1~2개로 정하라고 하고, 메타는 신뢰 수준과 기준 지표(예: 전환 캠페인이면 전환당 비용)를 테스트 전에 정하라고 안내합니다. 결과를 보고 나서 유리한 지표를 고르면 안 됩니다.
- 분할 비율과 방식을 확인합니다. 구글 맞춤 실험은 비교를 위해 50% 분할을 권장하고, 쿠키 기반 분할(한 사용자에게 한쪽만 노출)을 권장 옵션으로 둡니다. 검색 기반 분할은 결과가 더 빨리 나오지만 같은 사람이 양쪽을 다 볼 수 있습니다. 테스트 중에는 원본 캠페인을 바꾸지 않습니다.
헷갈리기 쉬운 말
확인 퀴즈
A안 CVR 2.0%, B안 CVR 2.5%가 나왔습니다. B안의 변화율과 올바른 해석은?
정답과 풀이 보기
정답: 2번. (2.5 − 2.0) ÷ 2.0 × 100 = 25%입니다. 차이가 우연일 수 있으므로 유의성을 확인해야 합니다. 1번은 %p 차이(0.5%p)를 변화율로 착각한 경우이고, 4번은 B를 기준으로 거꾸로 나눈 값(0.5 ÷ 2.5 = 20%)을 하락으로 잘못 읽은 경우입니다.