Systems
디자이너의 데이터 도구
실험을 설계하는 사람이 결과를 기다리기만 하면, 판단이 늦어지고 이상을 늦게 발견합니다. 데이터 분석가와 4주에 걸쳐 지표 정의를 맞추고, 디자이너가 자연어로 지표를 직접 조회하는 도구를 만들었습니다. 이 도구로 진행 중인 실험을 관찰하다 데이터 오염을 먼저 발견했고, 주간 지표의 이상 신호를 확인하는 자동화도 실무에 적용했습니다.
Year2026
Type지표 조회 도구 · 자동화
Role기획·구현
Status팀 내 사용 중
Problem
실험을 설계하면서 숫자는 기다려야 했다
지표를 보려면 분석 요청을 하고 결과를 기다려야 했습니다. 실험이 진행되는 동안 무슨 일이 일어나는지 디자이너가 직접 볼 방법이 없었습니다.
Build
지표 정의를 먼저 맞추고, 도구는 그다음에 만들었다
도구보다 정의가 먼저였습니다. 같은 이름의 지표도 집계 기준이 다르면 다른 숫자가 나옵니다. 데이터 분석가와 4주 동안 지표 하나하나의 정의와 실험 분석 방법을 맞췄고, 검증된 지표만 조회할 수 있게 했습니다.
Impact
진행 중인 실험의 오염을 먼저 발견했다
그리드·리스트 혼합 실험이 진행되는 동안 이 도구로 일별 추이를 직접 집계했습니다. 그러다 iOS 일부 버전에서 실험군의 알림 표시가 빠져 있다는 것을 찾았고, 바로 공유해 핫픽스로 실험을 중단 없이 이어갔습니다. 매주 주요 지표의 이상 신호를 정리하는 자동화도 만들어 실무에 쓰고 있습니다.