홀드아웃 테스트
한 줄 정의
대상의 일부를 무작위로 떼어 일부러 광고·메시지를 보내지 않고(홀드아웃), 보낸 그룹과 성과를 비교해 광고가 실제로 만든 증분을 재는 실험입니다. 떼어 둔 그룹을 홀드아웃 그룹, 대조군, 컨트롤 그룹이라고 부릅니다.
어떻게 작동하나
기본 흐름
- 광고 대상 전체를 무작위로 테스트 그룹(노출)과 대조 그룹(미노출)으로 나눕니다.
- 대조 그룹에는 해당 광고·메시지를 내보내지 않습니다.
- 정해 둔 기간이 끝나면 두 그룹의 전환율·매출을 비교합니다.
- 차이가 광고 덕분에 생긴 증분이고, 그 차이가 우연인지는 통계적 유의성으로 판단합니다.
플랫폼별 이름과 방식
| 도구 | 이름 | 확인된 내용 |
|---|---|---|
| 메타 | 리프트 연구(전환 리프트) | 메타가 대상 오디언스를 무작위로 나눠 테스트·대조 그룹에 배정. 대조 그룹 비율을 holdout percentage라 부르며, 셀마다 노출 비율과 대조 비율의 합은 100. 시작 후에는 노출 비율을 바꿀 수 없음. 현재 제한적으로 제공(담당자 문의) |
| 구글 Ads | 전환 상승도 | 광고를 보는 테스트 그룹과 보지 않는 대조 그룹으로 나누는 통제 실험. 사용자 기반(연령·성별 등으로 분석 가능)과 지역 기반(오프라인 데이터 지원)이 있음. 일부 계정만 제공 |
| Braze(CRM) | 글로벌 대조군 | 전체 사용자 중 1~15%를 대조군으로 지정해 모든 캠페인 발송에서 제외. 최소 1,000명 이상, 전체의 10% 이하를 권장 |
예시(가상 숫자): 앱 푸시 대상 20만 명 중 10%(2만 명)를 홀드아웃으로 둡니다. 4주 뒤 받은 그룹 18만 명의 구매율 3.0%, 홀드아웃 2만 명의 구매율 2.5%라면, 푸시로 늘어난 구매는 (3.0% − 2.5%) × 180,000 = 900건입니다.
쉽게 풀어 말할 때
"전단지를 돌린 동네랑 안 돌린 동네를 무작위로 정해 놓고, 한 달 뒤 손님 수를 비교하는 거예요. 안 돌린 동네에서도 원래 오던 손님은 오니까, 두 동네 차이만큼이 전단지가 진짜 데려온 손님이죠."
업계 말로 말할 때
- "CRM 메시지 전체에 10% 글로벌 홀드아웃 걸어 두고 분기마다 증분 보고하겠습니다."
- "홀드아웃 대비 상승도가 거의 0이라, 이 리타기팅 세트는 예산 줄여도 될 것 같아요."
- "테스트 중간에 결과 좋아 보인다고 끊지 말고 정한 4주는 채우죠."
실무 팁
- 나누기는 반드시 무작위로 합니다. "최근 구매 안 한 사람만 홀드아웃"처럼 고르면 두 그룹이 처음부터 달라 비교가 무의미합니다. 플랫폼 기능이나 무작위 버킷을 씁니다.
- 기간과 규모를 미리 정하고 지킵니다. Braze는 짧은 기간 데이터는 변동이 크니 최소 한 달 이상 보고, 중간에 좋아 보인다고 조기 종료하면 편향이 생긴다고 안내합니다. 대조군이 너무 작으면 유의한 결론이 안 나옵니다.
- 홀드아웃의 비용을 알고 씁니다. 대조 그룹은 그 기간 광고·메시지를 못 받으므로 단기 매출 일부를 포기하는 셈입니다. 그래서 비율을 크게 잡지 않고(Braze 권장 10% 이하), 결론이 나면 다시 섞습니다.
헷갈리기 쉬운 말
확인 퀴즈
다음 중 홀드아웃 테스트 설계로 가장 적절한 것은?
정답과 풀이 보기
정답: 2번. 무작위 분할 + 미노출 대조군 + 사전에 정한 기간이 핵심입니다. 1번은 무작위가 아니라 그룹이 처음부터 다르고, 3번은 A/B 테스트, 4번은 시기 차이가 섞이는 전후 비교입니다.