Investigating a Drop in User Engagement [2]

Investigating a Drop in User Engagement: Answers | SQL Analytics Training - Mode

 

인프런 강의 '데이터 분석을 위한 SQL 실전편' & Investigating a Drop in User Engagement - Answers 내용을 정리한 글입니다. 그래프, 차트 이미지는 '데이터 분석을 위한 SQL 실전편' 강의 자료와 위의 웹사이트에서 가져왔습니다. 

 

 

Preparation and prioritizing

가설을 세우고 그것을 평가하는 것이 문제 해결에 가장 중요한 부분이다. 사용자 감소를 유발한 모든 원인들을 나열하는 것은 불가능하지만 아래  몇 가지 가능한 원인들을 나열해보았다.

- 휴가 : Yammer 가 업무용 툴이기 때문에 휴가 기간에는 사용자 참여가 감소할 수 있다. 

- 기능 고장 문제 : 서비스 안의 기능이 고장나서 사람들이 사용할 수 없는 경우. 이 경우에는 디바이스 타입별로 engagement 를 비교해보고 어떤 부분이 문제가 있는지 찾아본다. ex) 가입 인증에 문제가 있어서 새로운 사용자가 가입할 수 없는 경우

- 코드 트래킹 문제 : 유저가 사용하는 기능에는 문제가 없지만 로그를 수집하는 과정에 문제가 있는 경우 ex) 코드를 트래킹하는 로직이 망가졌거나 서버가 다운되는 경우

- 봇에 의한 트래킹 이상 : 봇에 의해 발생하던 활동이 제품이나 인프라스트럭쳐의 변화로 문제가 생긴 경우. 이 경우에는 최근 프러덕트에 변경사항이 있는지 살펴봐야 한다. 

- 트래픽 셧다운 : 외부 사이트에서 우리 사이트로 유입이 되지 않는 경우 

- 마케팅 이벤트 : 이전 마케팅으로 인해 신규 가입자가 늘어났다가 빠르게 빠져나가는 경우

- Bad 데이터 : 실제 사용자로 발생한 트래픽과 사내 계정 트래픽 (ex. 어플을 테스트 해보기 위해서 사내에서 가입한 경우)을 구분짓지 않은 경우 (실제로 빈번하게 일어나는 경우라고 함)

- 검색 엔진 변화 : 검색 엔진이 우리 키워드를 몇 위 랭킹에 노출시키냐에 따라서 트래픽이 많이 달라짐. 따라서 랭킹 로직이 변경된 경우 트래픽 감소 or 증가로 이어질 수 있다.

 

 

Solving the case

모든 가능한 원인들을 리스트하는 것은 불가능하기 때문에 우선 살펴보기 쉬운 데이터를 먼저 확인하여 감소원인을 찾아본다.

 

신규 가입자가 줄어서 WAU(Weekly Active User)에 영향을 미쳤나?

가장 쉬운 방법은 신규가입자(growth) 데이터를 살펴보는 것이다. 측정하기 쉬울 뿐만 아니라 거의 대부분의 회사는 이미 신규가입자 데이터를 잘 활용하고 있다. 

 

왼쪽은 일별 신규가입자 차트, 오른쪽은 주별 신규가입자 차트이다. 일별 신규가입자 차트를 보면 규칙적으로 신규가입자수가 증가와 감소를 반복하고 있다. 약간의 감소가 보이는 주는 2014년8월4일 주차인데, 2014년 8월 4일 주차에, 직전 주 대비 신규 가입자, 신규 활성 유저가 각각 감소하였다. 잠시 감소가 보였으나 이후 신규 가입자, 신규 활성 유저 수 모두 이전 수준으로 회복하였다. 

-> 따라서 신규가입자 수가 WAU 감소에 큰 영향을 주는 것으로 보이지 않는다. 

 

WAU를 유저 코호트 별로 분해해보면, 어떤 시기에 가입한 유저들이 문제인지 알 수 있지 않을까?

신규가입자 유입(growth)에 이상이 없기 때문에 기존 사용자 데이터에 문제가 있나 살펴보자.  가장 효과적인 방법 중 하나는 제품에 가입한 시점을 기준으로 사용자를 *코호트하는 것이다.

*코호트 :  집단, 무리라는 뜻을 가진 단어, 비슷한 소비자를 한 그룹으로 묶는 것을 말한다. 

유저를 가입기간별로 쪼개서 코호트를 만들어서 살펴보자. 

 

가입일로부터 시간이 경과함에 따라서 Active User가 감소하는 것은 retention 차트의 전형적인 패턴이다. 

 

 

하지만 10주차 이전에 가입한 사용자의 WAU가 예외적으로 급감하는 모습을 보이고 있기 때문에 WAU에 영향을 미친다고 볼 수 있다.

또한 차트를 통해 engagement 감소가 10주차 이전의 기존 유저에게만 국한된 것을 확인할 수 있고, 신규 사용자 트래픽에는 문제가 없는 것으로 보인다. (마케팅으로 인한 트래핑 급증이나 검색 엔진에서 순위가 변경되는 것이나 사이트가 차단되는 등 새로운 트래픽에 영향을 미치는 문제가 원인은 아닌 것으로 보인다.)

 

 

WAU를 디바이스별로 분해해보면 어떨까?

phone과 에서 급격한 engagement 감소가 보인다. 아마도 기존 사용자들에게 모바일 앱과 관련한 문제가 있었던 것으로 보인다. 2014년 8월 4일 주차의 phone, tablet, WAU가 16.5%, 30.8% 감소하였다. 

computer WAU의 경우 감소가 적고, 정기적으로 나타나는 seasonality 성격으로 보인다. 하지만 역시 트래픽을 회복하지 못하고 지속적 감소세를 보이고 있으니 추가적인 확인이 필요하다. 

 

 

이메일 데이터를 살펴보자 (Yammer의 engagement의 대표적인 발생 경로가 이메일이라서)

* 유저 engagement가 어디에서, 얼만큼 발생하는지 알고 있어야 한다. Yammer의 경우 engagement의 대표적인 발생 경로가 이메일이라서 이메일 데이터를 살펴보았다. 

 

 

위의 차트를 보면 reengagement_emails와 email_opens에서 는 감소가 없는데, email_clickthroughs 에서 감소가 나타난 것을 확인할 수 있다. email_clickthroughs는 이메일 안에 있는 링크를 클릭해서 Yammer를 열어본 것을 말한다. (그냥 이메일을 열어보는 행위인 email_opens과 다름) 그 말은 이메일 안에 있는 링크에 문제가 있던가, 링크를 클릭하도록 유도하는 부분에서 문제가 있다는 말이다.

 

 

 

•  weekly_open_rate : weekly digest 이메일 수신 5분 이내 메일 오픈
•  weekly_ctr : weekly digest 이메일 수신 5분 이내 메일 안의 링크 클릭
•  retain_open_rate : reengagement 이메일 수신 5분 이내 메일 오픈
•  retain_ctr : reengagement 이메일 수신 5분 이내 메일 안의 링크 클릭

 

위의 차트에서 weekly_open_rate는 Yammer가 보낸 weekly digest 이메일을 사용자가 5분이내에 메일을 수신한 비율을 보여주고, weekly_ctr는 사용자가 weekly_digest 이메일을 수신하고, 그 이메일 안에 있는 링크를 클릭하여 Yammer에 유입된 비율을 나타낸다. 

 

 

 

weekly_open_rate는 감소가 없는데 weekly_ctr에서 급격한 감소를 볼 수 있다. 따라서 사용자가 이메일을 수신하는 것까지는 문제가 없는데, 그 이메일 안에 있는 링크를 열어보는 것에 문제가 있다는 결론을 낼 수 있다.

 

Follow through

위의 분석을 통해 모바일로 서비스에 접속하는 사용자, digest email 링크에 문제가 있다는 것을 발견할 수 있었다. 따라서 모바일 사용자들과 digest email 안의 링크를 살펴보아야 한다는 결론을 내릴 수 있었다. 데이터 분석만으로 어떤 방식으로 문제를 해결해야하는지까지 결정할 수 없지만, 어느 부분을 조금 더 집중해서 보아야 문제를 해결할 수 있는지 방향제시에 기여할 수 있을 것이다.