“본 A/B 테스트는 저희 기업 내 A/B 테스트 TF에서 진행한 프로젝트로, 자사몰 웹사이트의 구매 전환율과 매출을 향상시키기 위해 할인율(%) 표시의 효과를 분석했습니다. 실험 설계 단계에서 Chi-squared test, 두 그룹 비율 차이 검정(z-test), 두 그룹 평균 차이 검정(t-test) 등의 통계 방법론을 사용해 실험군과 대조군 간의 차이를 검증했습니다. 결과적으로는 할인율 표시가 구매 전환율과 1인당 매출액에 유의미한 영향을 주지 않았으나, 장바구니 담기 전환율이 유의미하게 상승했습니다. 이를 통해 할인 정보가 소비자의 구매 결정을 앞당기는 데 효과적임을 발견하고, 향후 제품 가치 전달을 위한 더욱 효과적인 전략을 세우는 것이 중요하다는 사실을 확인했습니다.”

목차

1. STAR Summary
2. Situation
3. Tasks
4. Actions
5. Results

All-in-one Jupyter Notebook

• Jupyter Notebook (GitHub Repo)

1. STAR Summary

Situation

• 2023년 회사의 데이터 기반 의사결정 프로세스를 제고하기 위해 A/B 테스트 TF가 운영되었으며, 유일한 데이터 분석가인 본인이 TF 리드를 맡았습니다.
• TF의 목표는 자사몰 웹사이트의 구매 전환율과 매출액 향상이었으며, 약 20회의 A/B 테스트를 수행했습니다.

Tasks

• 기획자 분께서 제품 이미지에 할인율(%)을 표시하면 소비자 심리학 측면에서 구매 전환율을 높일 수 있다는 아이디어를 제안해주셨습니다.
• 제품 이미지 상단에 할인율(%)을 표시하는 방식이 구매 전환에 미치는 효과를 실험하기로 결정했습니다.

Actions

• 핵심 지표는 구매 전환율과 1인당 매출액, 보조 지표는 장바구니 담기 전환율과 구매 시작하기 전환율, 그리고 가드레일 지표는 다른 이커머스 플랫폼으로 이동하는 전환율을 설정했습니다.
• 할인율(%) 표시가 구매 전환율과 1인당 매출액을 상승시킬 것이라는 가설을 수립하고, Type 1 Error(α)를 0.05로 설정했습니다.
• chi-squared 검정, 두 그룹 비율 차이 검정(z-test), 두 그룹 평균 차이 검정(t-test) 등의 통계 방법론을 통해 실험군과 대조군의 독립성 및 차이를 검증했습니다.

Results

• 핵심 지표에서의 결론: 할인율 표시가 구매 전환율과 매출액에 유의미한 변화를 주지 못했으며, 이는 제품의 본질적 가치를 효과적으로 전달하지 못했기 때문으로 해석됩니다.
• 장바구니 담기 전환율의 상승: 할인 정보는 구매 결정을 촉진하는 요소로 작용해 장바구니 담기 전환율을 높였으며, 고객에게 시각적으로 강조된 할인 정보가 긍정적인 영향을 미칠 수 있다는 점을 확인할 수 있었습니다.

2. Situation

• 2023년 회사의 데이터 기반 의사결정 프로세스를 제고하기 위해 A/B 테스트 TF가 운영되었으며, 유일한 데이터 분석가인 본인이 TF 리드를 맡았습니다.
• TF의 목표는 자사몰 웹사이트의 구매 전환율과 매출액 향상이었으며, 약 20회의 A/B 테스트를 수행했습니다.

2.1. A/B 테스트 TF의 결성

데이터 기반 의사결정 프로세스를 공고히 다져가던 저희 기업은 2023년 수 개월 동안 A/B 테스트 TF를 운영한 적이 있습니다. 사내 유일한 데이터 분석가로서 저는 당시 TF 리드로 임명되었습니다. 당시 TF에는 다음의 동료 분들이 함께 합류하셨습니다.

• 임원 (CSO)
• 임원 (CBO)
• 기획자
• 프로덕트 디자이너
• 마케터
• 프론트엔드 개발자

2.2. A/B 테스트 TF의 목표

당시 TF의 목표는 자사몰 웹사이트의 구매 전환율과 매출액을 향상시키는 것이었습니다. 이를 위해 약 20번의 A/B 테스트를 반복적으로 진행했습니다.

3. Tasks

• 기획자 분께서 제품 이미지에 할인율(%)을 표시하면 소비자 심리학 측면에서 구매 전환율을 높일 수 있다는 아이디어를 제안해주셨습니다.
• 제품 이미지 상단에 할인율(%)을 표시하는 방식이 구매 전환에 미치는 효과를 실험하기로 결정했습니다.

3.1. 실험 아이디어 제안

실험 아이디어를 결정하기 위한 미팅에서 기획자 동료 분이 이런 아이디어를 들려주셨습니다.

“우리는 제품 이미지에 할인 가격($)을 표시하고 있어요. 그런데, 소비자 심리학 측면에서 할인율(%)을 표시하면 경우에 따라 가치 전달의 효과가 더 좋을 수 있어요. 이 점에 대해 실험해보면 괜찮을 것 같아요.”

즉, 제품 할인을 부각하기 위해 Percent off와 Dollar off 표현 방식 중 어떤 것이 더 구매를 자극하는지 비교해볼 필요가 있다는 말씀이었습니다.

이커머스 SaaS 플랫폼을 서비스하고 있는 Namogoo는 이를 좀 더 구체화하여 The Rule of 100를 언급하며, 상품 가격이 $100를 기점으로 Percent off와 Dollar off 표현 중 효과의 우월성이 달라진다고 제시하기도 했습니다. 하지만 이는 지나치게 일반화된 명제일 수 있으므로 저희 웹사이트에서 실험해볼 만한 가치가 있었습니다.

3.2. 실험 아이디어 결정

결국 저희는 다음과 같이 구체적으로 실험 아이디어를 결정했습니다.

“제품 이미지 상단에 할인율(%)을 표시하는 것이 효과적일지 실험해보기”

4. Actions

• 핵심 지표는 구매 전환율과 1인당 매출액, 보조 지표는 장바구니 담기 전환율과 구매 시작하기 전환율, 그리고 가드레일 지표는 다른 이커머스 플랫폼으로 이동하는 전환율을 설정했습니다.
• 할인율(%) 표시가 구매 전환율과 1인당 매출액을 상승시킬 것이라는 가설을 수립하고, Type 1 Error(α)를 0.05로 설정했습니다.
• chi-squared 검정, 두 그룹 비율 차이 검정(z-test), 두 그룹 평균 차이 검정(t-test) 등의 통계 방법론을 통해 실험군과 대조군의 독립성 및 차이를 검증했습니다.

4.1. 지표 선정

4.1.1. 핵심 지표

구매 전환율과 1인당 매출액을 핵심 지표로 선정했습니다. 사실 핵심 지표를 2개로 두면 실험 의사결정 프로세스가 불명확해지고 방향의 모호성에 직면할 수 있다는 단점이 있었지만, 그럼에도 불구하고 2개를 두는 것이 당시 시점에서는 중요하다고 생각했습니다. 아직 조직의 A/B 테스트 경험이 충분하지 않아 실험 아이디어의 적중률이 낮을 것이기 때문에, 여러 관점에서 지표를 측정하여 학습의 여지를 남겨둔 것입니다. 특히, 구매 전환율과 1인당 매출액 사이의 관계가 명확히 밝혀지지 않은 상황에서 무리하게 1개의 핵심 지표만을 두는 것은 오히려 오판의 위험성을 낳을 수 있기도 했습니다.

(1) 구매 전환율

• 실험 페이지를 방문한 사용자의 최종 구매 전환율

# 순수 사용자 수 기준의 조건부 확률
P(최종 구매 완료 사건 | 실험 페이지 방문 사건)

(2) 1인당 매출액 (ARPU)

• 실험 페이지를 방문한 사용자의 기대 평균 매출액

실험 페이지 방문 사용자 발생 총 매출액 ÷ 실험 페이지 방문 사용자 수

4.1.2. 보조 지표

핵심 지표 외에도, 아래 두 가지 지표도 보조적으로 측정해보기로 했습니다. 핵심 지표에 가장 가까이 맞닿아 있는 지표들이므로, 실험 방향을 재설정하거나 숨겨진 의미를 찾는 데 중요한 실마리가 될 수 있다고 생각했기 때문입니다.

(1) 장바구니 담기 전환율

• 실험 페이지를 방문한 사용자의 장바구니 담기 버튼 클릭률

# 순수 사용자 수 기준의 조건부 확률
P(장바구니 담기 버튼 클릭 사건 | 실험 페이지 방문 사건)

(2) 구매 시작하기 전환율

• 실험 페이지를 방문한 사용자의 구매 시작하기 버튼 클릭률

# 순수 사용자 수 기준의 조건부 확률
P(구매 시작하기 버튼 클릭 사건 | 실험 페이지 방문 사건)

4.1.3. 가드레일 지표

저희 기업은 자사몰 뿐만 아니라, 아마존, 네이버, 쿠팡 등 다른 이커머스 플랫폼에서도 동일한 제품을 판매하고 있습니다. 그런데, A/B 테스트 TF의 활동 바운더리는 엄밀하게 조직의 전체 매출에 집중한 것이라기보다는 지역 지표에 한정된 영역이었습니다. 자사몰에 국한된 구매 전환율과 1인당 매출액을 향상시키려는 목표를 가지고 있었기 때문입니다. 물론 자사몰에서의 성과가 다른 이커머스 플랫폼 매출에 악영향을 끼치지는 않을 것이라는 직관을 가지고 있었지만, 조직의 전체 관점을 놓치지 않기 위해 이를 꼼꼼히 가드레일 지표로 설정하게 되었습니다.

(1) 다른 이커머스 플랫폼 바로가기 전환율

• 실험 페이지를 방문한 사용자의 다른 이커머스 플랫폼 바로가기 버튼 클릭률

# 순수 사용자 수 기준의 조건부 확률
P(다른 이커머스 플랫폼 바로가기 버튼 클릭 사건 | 실험 페이지 방문 사건)

4.2. 가설 수립과 검정력 분석

4.2.1. 가설 수립

미팅을 통해 결정한 실험 아이디어와 핵심 지표를 결합하여 다음과 같이 명제 형태로 실험 가설을 수립했습니다.

“제품 이미지 상단에 할인율(%)을 표시하면, 구매 전환율 및 1인당 매출액이 상승한다.”

이를 귀무가설과 대립가설 형태로 표현하면 다음과 같습니다.

4.2.2. 검정력 분석 (Power Analysis)

가설 검정의 판단 기준을 세우기 위해 다음과 같이 검정력 분석 절차를 밟았습니다.

최소 효과 크기 (MDE, Minimum Detectable Effect)에 대해 따로 정의하지는 않았습니다. 왜냐하면 본 실험의 전체 배포 과정은 SaaS 플랫폼 상에서 간단하게 이뤄질 수 있어서 개발 리소스 비용이 거의 들지 않기 때문입니다.

4.3. 분석 방법론 결정하기

가설 검정을 수행하기 위한 분석 프로세스를 다음과 같이 설계했습니다.

4.3.1. 독립성 검정 (Independence Test)

실험군과 대조군의 범주형 변수 분포가 독립인지 검정하는 과정입니다. 즉, 본격적인 가설 검정에 앞서 외부 요인 통제를 확인하는 절차입니다. 국가 분포와 접속 기기 유형 분포가 각 그룹 배정 여부와 무관한지 확인했습니다.

• 국가 분포: 저희 웹사이트의 경우, 한국과 미국 방문자가 대부분을 차지하므로 한국, 미국, 기타국가 총 세 가지 국가 범주로 분류하여 진행했습니다.
• 접속 기기 유형 분포: Desktop, Mobile, Tablet 총 세 가지 기기 유형 범주로 분류했습니다.

(1) 검정 통계량: chi-squared

(2) 가설 수립과 검정력 분석

4.3.2. 두 그룹 비율 차이 검정 (Two-proportion z-test)

실험군과 대조군 사이의 비교하고자 하는 값이 비율인 경우 수행하는 검정 방법입니다. 다음 지표들에 적용하도록 했습니다.

• 핵심 지표: 구매 전환율
• 보조 지표: 장바구니 담기 전환율, 구매 시작하기 전환율
• 가드레일 지표: 다른 이커머스 플랫폼 바로가기 전환율

(1) 가정 충족 확인

• 두 그룹에서 발생한 전환 사용자 수와 미전환 사용자 수가 모두 5명을 초과해야 한다.

(2) 검정 통계량: z

4.3.3. 두 그룹 평균 차이 검정 (Two-sample t-test)

실험군과 대조군 사이의 비교하고자 하는 값이 수치형 변수인 경우 수행하는 검정 방법입니다. 다음 지표에 적용하도록 했습니다.

• 핵심 지표: 1인당 매출액

(1) 가정 충족 확인

• 두 그룹의 수치형 변수가 모두 정규 분포를 따르거나, 혹은 두 그룹의 샘플 수 합계가 30을 초과해야 한다.

(2) 등분산 검정 (Bartlett’s Test)

• 실험군과 대조군의 변수 분포의 분산이 동일한지 검정하는 과정입니다. 즉, 본격적인 검정 통계량 추정에 앞서 각 집단의 분산 동일 여부를 확인하는 절차입니다.

• 가설 수립과 검정력 분석

  구분	귀무가설 (H0)	대립가설 (H1)
  등분산 검정	실험군의 분산 = 대조군의 분산	실험군의 분산 ≠ 대조군의 분산

  용어	설명	값
  Type 1 Error (α, 유의 수준, 기각역)	귀무가설이 실제로 True인데도 불구하고 대립가설을 채택할 확률	0.05

(3) 검정 통계량: t

4.4. BigQuery 쿼리문 및 Python 코드 작성하기

BigQuery로부터 데이터를 불러와 Python 상에서 분석을 했습니다.

• Jupyter Notebook (GitHub Repo)

5. Results

• 핵심 지표에서의 결론: 할인율 표시가 구매 전환율과 매출액에 유의미한 변화를 주지 못했으며, 이는 제품의 본질적 가치를 효과적으로 전달하지 못했기 때문으로 해석됩니다.
• 장바구니 담기 전환율의 상승: 할인 정보는 구매 결정을 촉진하는 요소로 작용해 장바구니 담기 전환율을 높였으며, 고객에게 시각적으로 강조된 할인 정보가 긍정적인 영향을 미칠 수 있다는 점을 확인할 수 있었습니다.

5.1. 분석 결과

5.2. 분석 결과 해석

이번 실험의 결과, 핵심 지표인 구매 전환율과 1인당 매출액에서는 귀무가설을 기각할 만큼의 통계적 유의성을 확보하지 못했습니다. 즉, 대립가설을 채택할 만한 근거가 부족하다는 것을 의미합니다. 하지만 흥미로운 발견이 있었습니다. 보조 지표였던 장바구니 담기 전환율에서는 실험군(B)이 우세한 결과를 보여줬으며, 통계적으로 유의미한 차이를 확인할 수 있었습니다. 이를 바탕으로 실험 결과를 다음과 같이 해석할 수 있었습니다.

5.2.1. 제품 가치 인식 전략의 중요성

제품의 가치를 제대로 인지시키는 전략 없이는 구매 전환율이나 매출 증가에 큰 영향을 미치기 어렵다는 사실이 드러났습니다. 특히 이번 실험에서 사용된 할인율 표시 방식은 제품의 본질적 가치를 강조하는 것과는 거리가 멀었기 때문에 매출에 즉각적인 변화를 이끌어내지 못했습니다. 저희 기업의 제품은 충동 구매를 유발하는 일반적인 소비재와는 달리, 고객이 신중히 고려하는 고가의 자산 보호용 제품입니다. 따라서 제품의 고유한 가치를 더 명확히 전달하거나, 구매 시점에서 고객이 가질 수 있는 우려를 해소하는 컨텐츠가 더 적합한 A/B 테스트 전략임을 알 수 있었습니다.

5.2.2. 할인 정보가 장바구니 전환에 미치는 영향

비록 매출에 직접적인 성과를 나타내지 못했지만, 장바구니 담기 전환율에서 긍정적인 결과를 얻을 수 있었습니다. 할인 정보는 언제 사라질지 모르는 혜택으로 인식되어, 고객이 구매 결정을 앞당기게 만든 요소로 작용한 것으로 보입니다. 할인율 자체가 제품의 핵심 가치를 전달하지는 않지만, 고객의 구매 결정을 서두르게 하는 요소로서 간접적으로 긍정적인 영향을 미칠 수 있다는 점에서 시각적 강조가 구매 여정에서 효과적일 수 있었던 것입니다.

Published by Joshua Kim