A/B TEST - 내가 겪은 A/B TEST와 스터디
데이터 분석가 공고를 보면 공통적으로 A/B TEST, 실험에 대한 내용이 들어간다.
하지만 막상 실무를 하다 보면 생각보다 실험 설계나 분석이 명확하지 않게 흘러가는 경우가 많다.
그리고 팀이나 역할, 환경에 따라서 아예 실험을 하지 않을 수도 있다.
내가 겪은 A/B TEST
우리 팀에서는 자주는 아니지만 위에서 확인된 건에 대해서 실험을 진행하고 있다.
처음엔 간단하게 배너에 대한 A/B TEST를 진행했었는데 배너에 관한 실험은 성공지표가 클릭여부로 설정하면 돼서 실험 설계도 간단하고 리뷰도 어렵지 않았다. 보이는 배너 디자인 차이가 컸을 때는 대체로 실험 결과가 극명하게 나타났어서 어느 쪽이 더 나은지 확인하기도 어렵지 않았다. 물론 A/B TEST 공부를 시작하면서 리뷰할 때, 순열검정도 해보고 이런저런 통계지식도 활용해서 리뷰해보았지만 내 경험상 배너에 대한 테스트는 너무 딥하게 통계가 들어가지 않아도 리뷰하기 쉬웠던 것 같다.
그러나 이후에 구매자의 구매 전환에 도움이 될만한 아이디어를 취합해서 실험을 진행했을 때는 배너같이 단순하게 유저의 직접적인 반응이 성공지표가 되지 않아서 실험 설계도 리뷰도 어려워졌다. 성공지표를 직접적인 반응이 아닌 지표들로 가져가게 되다보니 실험결과가 분명하지 않고 리뷰하기도 복잡했다.
A/B TEST 실험 설계에 대한 부분을 공부하다 보면 최대한 실험에 대한 직접적인 반응 요소를 성공지표로 가져가길 권장하는 데 막상 실무에서는 그렇게 하기가 어려웠다. 실험이라는 게 리소스가 들어가다보니 회사 입장에서는 아무래도 실험이 정말 필요한 건인지 확인할 수밖에 없고, 성공지표도 가급적 매출과 연관이 있어야 했다. 매출에 직접적인 요소일수록 실험의 필요성에 대한 공감을 이끌어내기 쉽기 때문에 실험 설계 과정에서 소통을 하다 보면 구매 단계에 최대한 가까운 쪽의 지표를 잡을 수밖에 없었다.
하지만 그러면 그럴 수록 실험의 난이도는 올라가고 실험이 클리어하지 않았다. 실제로 실험에서 노출하는 변수가 매출에 직접적인 영향을 일으킬만한 요소가 되기는 어렵기 때문이다. 그런 부분들 때문인지 실험 설계가 참 어려웠다. 성공지표에 대한 설정도 실험에 대한 공감을 받는 것도 쉬운 일이 아니었다.
A/B TEST 공부해보자
개인적으로는 A/B TEST 실험에 대해서 누가 알려준 것이 아니었기 때문에 설계를 잘하고 있는 건지도 알 수 없었다. 실험해보고 싶은 아이디어를 이렇게 설계해서 실험해도 되는 건지, 이럴 때 이렇게 분석하는 게 맞는 건지도 정말 혼란스러웠다. 그래서 차근차근 한 단계씩 A/B TEST를 알아가보는 게 어떨까 하는 마음으로 동료들과 스터디를 시작했다.
팀에 따라서 실험을 아예 하지 않는 경우도 있지만 데이터 분석 커리어를 생각해보면 우리 모두에게 필요한 주제이기도 했기 때문에 다같이 한 주제씩 뜯어보면서 알아봤다. 그렇게 우리가 공부했던 내용을 하나씩 연재해 볼 생각이다. 복습도 하면서 실험에 대한 가이드라인, 분석방법을 스스로 정립해가보고 싶은 게 내 목표다. 그러면 이후 실험을 또 하게 될 때에는 조금 더 우왕좌왕하지 않고, 클리어한 인사이트를 전달할 수 있지 않을까 하는 기대를 품어본다.
우리는 가짜 연구소에서 진행했던 A/B TEST 스터디를 오마주해서 진행했는데 개인적으로 발표자료와 모든 스터디 내용을 공개해준 가짜연구소 스터디 덕에 우리 스터디도 순항할 수 있었다. 교재는 일명 하마책이라고 불리는 'A/B 테스트 : 신뢰할 수 있는 온라인 종합 대조 실험' 이었는데 사실 스터디를 시작할 때, 최대한 스터디가 부담되지 않게 하는 걸 중요하게 생각했어서 가짜 연구소 발표자료를 주교재처럼 참고했었다. 이 글을 빌어 자료 공개해준 가짜연구소 분들께 감사 말씀 전합니다 (아무도 안봄;;)
블로그는 우리의 스터디를 복습하고 회고하는 게 목적이라 개괄적인 내용은 최대한 생략하고, 1) 실험 분석하기(기초 통계지식) 2)지표 3) 실험을 교란시키는 요인 4)실험 가이드라인 작성하기 5)실제 실험 분석하기 파트로 작성해 볼 생각이다. 이 블로그 글도 쓰는 데 참 오래 걸렸는데 막상 쓰다 보니 내 글이 내심 기대된다. 나를 위한 기록 시작~!