Experiments · Case 04
지갑칩 N배지 실험
더보기탭 안의 지갑 영역은 전자문서나 인증 같은 중요한 소식이 와도 사용자가 알아차리기 어려웠습니다. 새 소식이 있으면 칩에 N배지를 붙이고, 그 배지를 하단 탭 알림과 연동하는 두 변수로 나눠 실험했습니다. 광고 매출 수치에 한 사용자의 이상치가 섞인 것을 걷어낸 뒤 판단해, 매출 가드레일을 지키면서 트래픽을 늘린 안을 정식화했습니다.
Year2026.01 – 2026.04
Experiment대조군 + 2안 · 각 2% · 2주
RoleN배지·알림 UI · 정식화 가이드
DecisionA안 정식화
Problem
중요한 소식이 와도 지갑까지 닿지 않았다
지갑 칩의 방문자는 더보기탭 방문자의 일부에 그쳤습니다. 전자문서 수신이나 인증 이력처럼 확인이 필요한 일이 생겨도, 칩에는 아무 표시가 없었습니다.
Hypothesis
배지를 탭 알림과 이으면 더 늘어난다
N배지만으로도 방문이 늘고, 하단 탭 알림과 연동하면 더 크게 늘 것이라고 봤습니다. 두 효과를 따로 볼 수 있도록 실험군을 둘로 나눴습니다. 가드레일은 선물하기 총 매출과 홈 영역 광고 매출로 정했습니다.
- A · N배지 + 탭 알림 연동칩의 배지가 켜지면 하단 탭에도 알림 점이 켜집니다.
- B · N배지만칩에만 배지를 붙이고 탭 알림과는 잇지 않습니다.
Result
탭 알림 연동이 결과를 갈랐다
| 지표 · 대조군 대비 | A · 배지 + 탭 알림 | B · 배지만 |
|---|---|---|
| 지갑칩 방문 | +48.1% | +19.3% |
| 지갑칩 1인당 방문 | +13.1% | — |
| 선물하기 전체 거래액 | −1.4% (유의하지 않음) | — |
| 광고 매출 | +3.7% | 유의차 없음 |
| 판정 | 정식화 | 제외 |
광고 매출은 처음에 A안에서 +15%로 집계됐습니다. 들여다보니 한 사용자가 비정상적으로 많은 노출과 클릭을 만든 이상치였고, 이를 제외하자 +3.7%로 내려왔습니다. 정식화 판단은 이 값으로 했습니다.
Decision
매출 가드레일을 지키며 트래픽을 늘린 안을 정식화했다
A안을 정식 적용했고, 지금 모든 사용자에게 노출되고 있습니다. 하단 탭에 배지 모양을 그대로 연동하는 후속 실험도 설계했지만, 효과 대비 복잡도를 고려해 진행하지 않았습니다.
My Role
배지와 알림의 화면 규칙을 설계했다
리드한 것
- N배지·탭 알림 연동 UI
- 배지가 켜지고 꺼지는 규칙의 화면 설계
- 정식화 디자인 가이드
함께 한 것
- 실험 설계 — PM·데이터 분석가
- 광고 영향 분석 — 광고 인사이트 조직
- 정식화 결정 — 스쿼드·상위 리더