A/B 테스트 사례 (W5D3)

주요 개념

A/B 테스트란?

대조 실험입니다.
비슷하지만 다른 아이디어를 놓고 어떤 게 더 고객한테 반응 좋은지 클릭량, 매출량, 커서 체류 시간 등 다양한 데이터를 가지고 판단합니다. 이렇게 바꾸면 반응 좋을 거 같다는 단순한 추측을, 정량적 데이터로 확인할 수 있는 유용한 분석 방버입니다. 앱 푸시, 레이아웃, 문구 등 다양한 분야를 바꿀 때 활용할 수 있습니다.
대표적인 예로는, 넷플릭스 콘텐츠 이미지 차이 실험이 있습니다. 임의로 나눈 사용자 그룹에 같은 콘텐츠인데 다른 썸네일 이미지를 보여주어 무엇이 더 시청하고 싶게 만드는지 확인한 후 최종 썸네일을 선택했습니다.
(넷플릭스는 썸네일 참 이상하게도 만든다 싶었는데 그게 다 실험이었다니...)


따라서 오늘 과제에서는 이 테스트를 한 다른 사례를 찾아보는 것입니다~

---

과제 ) 국내와 해외 서비스의 A/B 테스트 사례를 찾아, 인사이트를 얻어봅시다.

 

• 국내 서비스 1개, 해외 서비스 1개 선정합니다. 왜 해당 서비스를 선택했는지에 대한 설명을 적습니다.
• 위 두 개 서비스에 대한 A/B 테스트 사례에 대해 구글 검색을 통해 최대한 많은 정보를 수집합니다.
  1. PM은 검색을 통해 다양한 사례를 찾아 보고 인사이트를 기르는 것이 중요합니다.
  2. 해외 사례는 영어 검색으로 해보시는 것을 추천, 다양한 그로스 관련 블로그나 사이트를 통해 찾아보도록 합니다.
• 각각의 서비스의 A/B 테스트 실행과 결과에 대해 정리합니다. 실패한 사례여도 괜찮습니다.
  1. 개선 포인트(문제 정의), 가설, 기간, 타겟, 테스트 형식(UI 개선 혹은 문구 등등) 에 대해 자세히 작성합니다.
  2. 가설과 기간 타겟에 대해 찾기 어렵다면 대략적으로 작성해 주세요.
  3. 사례를 통해 어떠한 인사이트를 얻었는지에 대해 간단히 덧붙여 봅니다.
• 본인이 해당 서비스의 PM 이라면 어떻게 실행(개선)을 해볼 수 있을지 고민하여 작성하도록 합니다. 본인의 생각을 최대한 담아 작성합니다. 서비스가 성장하기 위해 어떤 포인트를 잡아 테스트 할 수 있을지에 대해 자유롭게 작성해주세요.

A/B 테스트에 대해 명확하게 이해하였는가

선택한 서비스의 A/B 테스트 분석이 논리적이고 명확한가

A/B 테스트 개선에 대한 아이디어가 충분히 합리적인가

 

 

 

| Humana의 A/B 테스트 사례

이미지 분위기가 부드럽고 카피 메세지가 간결한 배너로 변경했더니 클릭율 433% 상승 

이후 연말 막바지 구매를 재촉하는 카피로 변경했더니 192% 상승   

 

• 휴매나는 무엇이고 왜 선택했는가? 

휴마나는 1961년 설립된 미국의 의료 보험 회사이다. 위키백과와 구글에 의하면 직원 수는 95,500명이고 소비자 수는 1150만 명에 이른다. 재택 간호(노인 간호) 회사로서 창립하였으며 이후 재택 간호 체인업 사업을 그만두고 병원을 구매하여 1980년대에 들어서는 세계 최대의 병원 체인점 회사가 되었다. 휴매나는 소비자 의료보험 기업으로 변신하였다. 1993년 병원 사업 부문을 자회사로 분리하였다. (혹시 미국 의료 민영화의 주범? 혹은 수혜자?)

병원 건물 설계에 있어서, 이중 복도(double corridor) 설계를 개발해냈다. 내가 이해한게 맞다면 정말 대단하다. ㄷㄷ

 

 

휴마나의 사례는 해외에서 성공적인 AB 테스트 예시로 유명한 편이다.

휴매나라는 브랜드는 처음 알았지만 자료를 찾아보니 41분 짜리 자세한 영상도 있고 놀라운 전환율을 보여준 예시라서 선택하였다. 

 

 

• A/B 테스트 실행과 결과

개선 포인트(문제 정의), 가설, 기간, 타겟, 테스트 형식(UI 개선 혹은 문구 등등)

 

휴매나의 홈페이지에서 보험 가입을 유도하는 랜딩 페이지를 실험했다. 

 

더 자세한 설명과 전체적인 테스트 진행은 영상을 보면 된다. 링크

 

 

 

① 첫번째 A/B 테스트 실험 - 간결하고 부드럽게 만들기 

 

이 테스트를 하기 전에 매우 복잡한 배너와 배너가 아예 없는 버전으로 먼저 ab 테스트를 진행했고, 

아예 없는 버전이 클릭율이 높은 이유를 분석하여 "부드럽고 깔끔한 배너가 클릭율을 높일 것"이라는 가설을 세웠다. 

그 가설을 확인하기 위해, 합리적이고 상세한 배너와 깔끔하고 부드러운 배너 두 가지 안을 만들어 실험을 진행했고 좋은 배너가 배너가 없는 버전보다도 효과가 높다는 걸 입증하였다.

좋은 배너 > 배너 없음 > 나쁜 배너 순으로 클릭율이 있었다.  

 

초기 버전의 배너가 클릭율이 낮았던 이유는 다음과 같아서 해당 가설을 세우게 되었다.

1. 인간적이지 않고 딱딱한 느낌 → 부드럽고 인간적인 배너 

2. 눈 둘 곳을 모르겠음(시선이 이동할 경로를 알려주지 않음) → 명확하고 간결하게 만들자 

3. 배너에 눈이 멀게 만듬 → 배너 안에 CTA 버튼을 달자

 

사진 속 첫번째 배너에서 아래 배너로 변경한 후 433% 더 많은 클릭률을 달성했다고 한다. 

 

-

 

배너는 사람들이 랜딩 페이지에 도착했을 때 가장 먼저 보는 장치이다. 이미지로 제품을 소개할 수 있기 때문에 대체로 상단에 배치되므로 첫번째로 시선이 닿는다. 따라서 양면성이 생기는데, 최적화된 배너는 쉽게 많은 잠재 고객을 유도하지만 비효율적인 배너는 고객을 내쫓는다.

 

이 사례에서 첫 번째 배너(control)는 이점, 기능 및 품질을 상세하게 설명했지만 아래의 문제가 있는 것으로 분석이 되었다. 

• 카피가 너무 많아서 보기 힘들고 
• CTA 버튼이 눈에 바로 띄지 않는데 클릭을 유도하는 글귀 또한 없다
• 명확하고 간결한 메시지가 없다 

 

고객이 간단하고 명확한 CTA에 반응한다는 인사이트를 얻은 Humana는 CTA를 "Shop Medicare Plans"에서 "Get Started Now"로 변경하였다. 두번째 배너(B안, Treatment)는 무엇을 기대하고 어떻게 할 수 있는지, 그 메시지를 명확하게 전달하는데 충분한 효과가 있었다. 

 

 

 

② 두 번째 A/B 테스트 실험 - 촉박하게 만들기 

 

처음에는 부드럽게 탐색하도록 유도했지만, 보험이라는 제품의 특성을 살릴 필요가 있었다.  

이 실험을 진행하던 때는 2016년 하반기였다. 고객이 빨리 2016 보험 상품을 구매하도록 유도해야했다. 

 

위 실험 b안(Treatment)을 a안으로 두고, 위 사진 속 배너와 비교하여 실험을 진행했더니 클릭률이 192% 증가했다.

시각적 요소, 색상 및 모양을 비롯한 몇 가지 다른 변경 사항을 적용하면 CTR이 더 오를 수 있다는 것이다. 

 

일반적으로 우선 탐색을 시도해보라고 제안하는 것은 적은 노력을 요구하기 때문에 더 많은 클릭률을 얻을 수 있다. Treatment 배너에서  "Get Started Now"가 지금 당장 사라고 외치는 카피보다는 낫다. 그러나 이 경우는 해당하지 않았다. 12월 초까지 얼마 안남은 시간 동안 빨리 결정을 내려야 그 해에 가입할 기회를 놓치지 않고 싸게 가입할 수 있다. 재촉하는 방식이 효과적일 때도 있다는 인사이트를 준다. 

 

두 테스트 정보 출처 

 

※ 정리하자면 

개선 포인트: 가입 전환율이 트래픽에 비해 낮음 

목표: 배너 CTA 클릭율을 증가시키기

핵심 질문: 가장 클릭율을 증가시키는 버전은 어떤 것인가? 

가설: 부드럽고 깔끔한 배너로 교체하면, 부드러운 이미지로 고객에게 좋은 첫인상을 주면서, 다양한 고객들이 왜 클릭해야 하고 어딜 누르면 되는지 명확히 알게 하므로, 클릭율이 올라갈 것이다. 

기간: 약 2년 (올해 5월 ~ 이듬해 12월)

타겟: 사이트에 방문하는 인원들로, 150 이상 클릭하면 완료*?

 

결과: 클릭율 433% 증가

이후에도 카피 변경 등 추가적으로 테스트를 실행해서 클릭율을 점차 높였다. 2번째 연말 재촉 버전으로는 192% 증가시켰다. 

 

• 이 사례를 통해서 어떠한 인사이트를 얻었는가? 

성공 사례인 만큼 철저한 조사가 인상적이다. 

 

일단 처음에는 방향성 테스트를 했다. 

가. 배너가 없는 버전VS현재 배너가 있음 

나. 배너가 없는 버전이 왜 승리했는지 분석 

다. 분석을 토대로 배너를 수정하여 다시 실험 

라. 좋은 결과를 얻어 배너를 변형하여 재차 실험 

마. 최고의 결과를 얻음 . 

 

문제 원인을 확실히 모르고 비슷한 선행 사례도 없을 때 지레짐작 하지 말고 찬찬히 연구하며 여러 번 실험하는 것이 중요함을 알게 되었다. 

나였으면 ABCD 안을 생각했을텐데 AB 다음에 BC 한 것도 아하 그렇구나 싶다... 

 

 

---

 

▼ AB 테스트 사례라고 가져왔었으나 UX 개선 같아서 사례 교체함. 

인스타그램의 2016 아이콘 변경이 AB테스트를 거친 것인지 확인하려면 보다 더 많은 자료를 파악해야 하는데 인스타그램 AB 테스트를 검색해도 SNS를 활용하여 테스트하는 법이 많이 나온다. 

결국 그 넷플릭스 영상을 실제로 봐야 하는데 재밌긴 하겠지만 빨리 수정하기 위해서 어쩔 수 업어따 

게다가 AB 테스트를 진행했다느니 어쨌느니 하는 얘기가 영상 속에서 나왔었으면 요약 리뷰글 써놓은 블로거들이 해당 내용도 포함했을 것이다. 

 

 

| 인스타그램의 A/B 테스트 사례

나 때는 규모가 작았는데 갑자기 폭풍성장 해부렀어...
알고 보니 아이콘을 바꿔서 그렇다고 함!

• 인스타그램을 왜?

난 의외로 얼리어답터에 가까운 것 같다.
고등학생 시절 한동안 유튜브에 중독되어 있었다. 그땐 유튜브가 이만큼 크지 않았고 유튜버라는 직업이 미래의 유망직종으로 언급되는 횟수도 그다지 많지 않았다.
내가 유튜브 세상을 탐색하느라 잠을 못잤다고 하니 영어선생님 하시는 말씀이, 그런 애들 있다고는 들었는데 정말 있구나였다. 마치 건너건너 전해들은 희귀동물을 직접 마주한 것 같은 뉘앙스였다. 근데 요즘은 유튜브 숏츠가 유행하고, 아이들은 장래희망으로 유튜버를 꼽고, 유튜버는 연예인과는 다른 종류의 인플루언서가 되었다. 정작 나는 이제 유튜브를 노래 듣는 용도로만 대부분 사용한다. 심지어는 유튜브 숏츠를 비롯하여 숏폼 콘텐츠도 연이어 즐긴 적 없다.
인스타그램도 마찬가지다. 한, 그 뭐지 꽤 오래 전, 중독된 것처럼 사용한 적이 있었다. 게시글 1000개 찍고 계정을 바꿨는데, 얼마 쓰지 않고 네이버 블로그로 갈아탔다. 그때는 스토리 기능도 없었던 거 같다. 내가 쓸줄 몰랐던 데다가, 다른 사람의 스토리를 본 기억도 없기 때문이다. 그런 시절이 있었는데 요즘은 인스타그램으로 예쁜 필터도 쓰고 스토리도 멋지게 꾸밀 수 있더라고. 정말 요즘 사람들 문화를 만들어나가는 양상 보면 대단하다.

아무튼 내가 유튜브랑 인스타그램을 썼을 때도 충분히 유명한 대기업이었지만, 지금은 문화충격을 주는 수준으로 커졌다. 어쩌다 그렇게 되었을까?

 

 

• 아이콘 변경으로 성장한 사례

넷플릭스 앱스트리트 디자인의 미학이라는 작품이 있다. 디자이너 현직자를 따라가면서 디자인 세계를 소개하는 프로그램이다. 시즌2 5화 이안 스폴터 편에서 인스타그램 이야기가 나온다. 이안 스폴터는 인스타그램의 디자이너다.

 

https://www.wired.com/2016/06/infographic-netflixs-new-n-state-logo-design/

 

실사에 가까운 디자인에서 점점 간단하고 선명한 아이콘으로 변하던 아이콘 트렌드를 인스타그램은 16년도에나 뒤늦게 탑승했다고 한다. 획기적인 변화를 주면서 말이다. 발표 처음에는 최악의 디자인이라며 혹평이 쏟아졌다. 나는 16~17년도에 인스타그램을 열정적으로 사용했던 유저다. 나 또한 바뀐 디자인에 어색함을 느꼈던 것 같다.
위 사진은 해외 유명 서비스들의 아이콘 변천사다. 맨 아래는 인스타그램이다.
요즘 사람들은 저 카메라 아이콘 낯설겠지! 모르겠지! 하하 요즘 사람들~ 나는 아직 과거에 사는데...

 

인스타그램은 실사 카메라 로고에서 지금의 형태로 바꾸고 난 후 대폭 성장을 이루었다고 한다.
사용자가 2억에서 10억으로 뛰었다고.

원래 아이콘의 둥글고 매끄러운 모양, 테디 베어 브라운 색감, 설탕에 절인 것처럼 반짝이는 렌즈, 무지개 포인트는 매력적이다. 하지만 현대적이지 않았으며, 어떤 앱인지 전해지는 느낌이 부족했다. 인스타그램은 초기에 독보적인 사진 필터 기능을 통해 성장한 건 맞지만 16년도 쯤에는 사진을 기반으로 한, 쉽고 빠른 관심사 공유 커뮤니티에 가까워졌기 때문이다. 그런데 카메라 모양으로는 스노우 같은 촬영 보조 어플인지, 사진 편집 어플인지 커뮤니티인지 전해지는 이미지가 애매하다.
또한, 사진 기반 SNS인 만큼 빠르고 다양한 느낌을 줘야 하는데 유행이 지난 디자인으로는 핫하다는 느낌을 줄 수가 없었다.

따라서 이안은 직원 리서치(10초 안에 로고 그려보라고 하기)를 통해 무지개가 기억에 남는 포인트라는 점을 캐치하고, 카메라 렌즈와 무지개 색상을 넣어 제작한 초안들을 비교하였다.


이안의 블로그에 해당 내용이 쓰여있다. (이름 예쁘다)

• 로고 변천사 캡쳐가 담긴 글
• 다른 설명글 ㅎ
• 팔로워 표시 변경

이 사례는 AB 테스트가 아니라 그냥 UI 개선 같겠지만
기존안, 초안과 비교했기 때문에... AB 테스트라고 볼 수 있지 않을까...???

 

 

 

---

| 쿠팡의 A/B 테스트 사례

어느새 가족들이 다 쿠팡을 쓰고 있다...
연령과 성별이 다 다른 사람들이 사용하게 된 비결은 섬세한 개선 덕분?
UI 개선 사례를 보자

• 쿠팡은 왜

나는 소비를 잘 하지 않는다. 이유는 별 거 없고, 결제를 편하게 할 수 있게 연동시키는 걸 못했기 때문이다.
토스도 아직 쓸줄 모르고 써본 적 없다. 16년도에 주변 사람들이 토스로 편리하게 송금하는 걸 보면서 그게 대체 뭘까, 요즘 사람들 참 똑똑하게 살아가네 싶었지만, 쓰지 않았다. 그러다가 은행 어플이 나오고 그걸 쓰게 되었다.
제대로 된 얼리어답터는 아닌 거 같다. 토스도 쿠팡도 써본 적이 없으니 말이다. 주변 사람들이 다 쓰고 있는 건 알고 있다. 쿠팡은 현재진행형이다. 가족들 휴대폰에 쿠팡이 깔려있다. 덕분에 SD 카드나 sd카드 리더기 같이 내가 필요한 상품까지 가족한테 구매해달라고 부탁할 수 있었다.

그런데 연령과 성별, 취미와 라이프 스타일이 다른 사람들이 어떻게 다 쿠팡을 쓰게 된걸까?
집순이 집돌이에게는 필수 어플이다 이건가?

• 팡쿠 A/B 테스트 사례

다양한 상품과 취향 타지 않는 UI 때문으로 보인다.
특히 UI는, AB 테스트로 개선하기 쉬운 부분이다.

쿠팡 디자이너가 실무 사례를 서술한 글이 있다.

패션 상품의 구매를 시도했으나 구매를 결국 하지 않은 고객을 대상으로 설문조사를 진행했는데 사이즈 정보를 확인하기 불편해서 구매를 하지 않았다는 응답이 많았다고 한다.

A안은 상품 상세설명에서 사이즈표를 찾아봐야 하는 기존 안으로, B안은 사이즈를 잘 보이도록 재구성하는 안으로 설정했다.

사이즈 표를 상품 이미지와 결제 바를 보여주는 상단 부분에 배치했지만 눈에 잘 띄지 않아 큰 효과는 없었다.
하지만 사이즈 표를 클릭하기만 하면 구매까지 이어지는 전환율이 2배 이상 높아졌다.

B안을 개선하기만 하면 유의미한 결과를 얻을 수 있겠다 판단, 고객 인터뷰를 힌트로 적절한 노출 시점을 파악했다.

구매를 결심하고 옵션을 선택할 때 사이즈를 다시 한번 안내받을 수 있도록 설정한 이후 핵심지표인 클릭률이 펄쩍 뛰었다.

 

 

• 이 사례를 통해서 어떠한 인사이트를 얻었는가? 

나는 이 사례를 보고 필수정보를 눈에 잘 띄는 곳에 배치하는 게 무척 중요하다는 인사이트를 얻었다. 특히, 패션 쇼핑몰은 자세한 사이즈표가 찾기 편해야 한다. 생각해보면 나도 예에전에 온라인 쇼핑몰로 옷을 구매했을 때 굳이 하단까지 내려서 사이즈를 확인해야 하는 게 귀찮았다. 살짝 신중한 편이라 들락날락 많이 하는데 그때마다 사이즈표 찾아서 내려가는 것도 약간 쓸데없이 발품 파는 것 같았고 말이다. 그렇다고 상단에 대문짝하게 박아두면 되려 구매율이 떨어질 수 있으니 토글을 만드는 게 좋은 것 같다. 해당 사례에서 구매 옵션애서 색깔과 사이즈, 갯수를 선택할 때 아예 사이즈표를 펼쳐볼 수 있도록 하는 방법은 몹시 좋은 개선책이라 느꼈다. 

 

 

또 다른 사례 ▶ 링크

 

 

---

 

| 어떻게 개선할 수 있을까?

구매율이 중요하니까, 할인 표시 방법 비교


내가 쿠팡의 PM이라면... 돈을 충전할 수 있게 하거나 필수품 자동결제 기능을 넣고 싶을텐데(이미 있다면 안미안)... 쿠팡 파트너스랑은 어떻게 연결지어야 하지?
근데 이건 AB 테스트를 할 수 있나?
그렇다면, 실험실을 만들어서 실험자를 자원 받는 것은 어떨까? 선결제나 자동 충전, 선택한 상품을 설정 주기나 버튼 누를 때마다 배송받게 하고 그걸 100일 진행, 100일 동안 쭉 진행하면 특정 보상을 주는 거지.

아 근데 이게 AB 테스트라고 할 수 있을까? 이렇게 치면 베타 테스터도 AB테스터인가? 근데 AB테스트는 길어봤자 10일, 단기적으로 작은 부분을 치고 빠지는건데.

그렇다면, https://www.coupang.com/
쿠팡 메인화면은 배너, 오늘의 상품 등 다양한 장치를 통해 구매로 바로 이어지도록 유도하고 있다.

이 부분에서 오늘의 특가 상품이 몇 퍼 할인하는지 눈에 덜 띄고 위에 카테고리 상품이랑 할인율 표시가 다르잖은가?

할인율 표시가 1,2,3번 중에 뭐가 제일 클릭율이 높은지 판단할 것이다.
1번은 좌측 상단에 뱃지를 달아주는 방법
2번은 원가를 표시해서 직접 비교해주는 방법
3법은 화려하게 딱지 붙여주는 방법

왜냐면 구매율이 중요한 이커머스 플랫폼이기 때문이다!!!

3번을 여러게 줄지어놓으면 지저분하니까 쭉 이어지는 형태로 깔끔해보이도록 디자인해야할듯 싶다.
이런 안을 고안하는 건 UX 디자이너의 몫 같기도 하고
저렇게 하는 이유나 의도가 있을 것 같기도 하고...

 

 

---

여담

고정된 한 개의 배너에서 3개의 간결한 롤링 배너를 보여주면? 

 

휴마나 사례 보충할 거 많은듯~ 이대로 완성이라고 칠 수도 있긴 한데...

왜냐면 아직 영상 다 안봄. 그래서 영상 속 내용은 못 적었음. 

 

 

 

의료 민영화 휴매나, 휴매나 민영화 검색해서 관계성 찾아보기 

이중 복도 설계가 내가 아는 거 맞는지 찾아보기 

스큐어모피즘 스타일이 뭐지


다른 과제랑 안겹치게 사례 찾는 거 도대체 어떻게 하는 거임???????????????????????????????

난 대학생 때랑 똑같은 걸 여전히 못하는갑다...
대학생 시절 과제 낼 때, 심지어 서술형 시험에도 탄탄한 자료조사에 근거하지 못하고 생각 구구절절 써서 냈었다.
사람이 발전을 좀 해야 하는데~
인사이트 연금술도 자료를 많이 부어야 펑펑 쏟아나오는 건데~
외부 자료를 싹싹 모아야지 내부 고찰만 들이대면 어떡해

하지만 진짜 사례 어떻게 단기간에 유용한 걸 찾아야 하지??
마음 같았으면 미투데이 등등등을 했어 하지만 .......

PM은 검색을 통해 다양한 사례를 찾아 보고 인사이트를 기르는 것이 중요합니다.

나도 이걸 정말로 잘하고 싶어 하지만 하지만 하지만~

근데 정말로 잘하고 싶어 왜냐면 나도 알아 근거는 많은 걸 알려줘
인사이트를 뒷받침하는 많은 자료 → 내 말에 신빙성 생김 → 봐라 내 말 맞지!! 이대로 진행 시켜!
내 추측이 틀렸다 → 아이고 더 쪽팔리기 전에 빨리 말 바꿔야지;; → 틀린 가설을 배신하고 팩트 신봉자인 척 하기

다양한 그로스 관련 블로그나 사이트를 수집하려면 어떻게 해야할까

사례 찾아서 정리만 하면 되니까 언뜻 보면 쉬운 과제인데 사례 찾는게 참 어렵다.
A/B 테스트 AB 테스트 AB테스트

 

사이트 링크

 

공식 · 관련 사이트

분석 참고 글

---

W5D3 [코드스테이츠 PMB 16기] 과제
A/B 테스트