Input Metric과 Output Metric의 의미와 상관관계

데이터 리터러시(프로덕트 데이터 분석) 강의를 들으면서 Input Metric과 Out Metric의 의미와 상관관계가 이해가 잘 되지 않았다. 강의에서는 Output Metric이 결과가 되는 지표이며, Input Metric이 그 결과를 구성하는 것이라고 나와있었다. 하지만 충분한 예시가 없다 보니 두 지표의 의미와 상관관계를 파악하기 어려웠다. 그래서 다양한 예시를 들어서 두 가지의 지표의 의미와 상관관계를 설명해보려 한다.

 

Input Metric과 Output Metric은 무엇인가?

아래는 Udemy에서 Input Metric을 Output Metric에 연결하는 방법에서 발췌한 내용이다. 

예시 : 하프 마라톤 완주 목표 달성을 위해 목표 몸무게 달성하기

“하프 마라톤에 신청했다고 하자. 마라톤을 꼭 완주하고 싶은데, 이 목표를 위해서 무얼 해야 할까?

마라톤 완주를 위해 세운 Prerequisite Goal은 목표 몸무게를 달성하는 것이다.

• 측정 가능한가요? → 체중계로 가능하다
• 직접 조절 가능한가요? → 아니오.

목표 몸무게라는 지표는 측정 가능하지만 직접적으로 조절이 불가능하므로 Input이 아니라 Output이 된다. 실제로 Work on할 수 있는 것이어야 하며, 믿을 수 있는 향상을 Output에 가져다줘야 Input이 될 수 있다는 것이다.

몸무게 조절이라는 목표를 달성하기 위한 Input은?

1. 첫번째 목표 : 다이어트
   1. 측정 가능한가요? → 칼로리를 통해서 측정 가능하다.
   2. 직접 조절 가능한가요? → 예.
2. 두번째 목표 : 운동
   1. 측정 가능한가요? → 운동 시간과 종류를 측정할 수 있다.
   2. 직접 조절 가능한가요? → 예.
3. 세번째 목표 : 수면
   1. 측정 가능한가요? → 수면 시간과 종류를 측정할 수 있다.
   2. 직접 조절 가능한가요? → 예.

Input Metric의 조건

1. Measured - 측정이 가능한
2. Tracked - 추적이 가능한
3. Observable - 확인 가능한

Input과 Output의 차이이자 주요 특성

• Limited direct control over Outputs : Outputs에 대해서 직접적인 조절은 한정적으로 가능하다.
• Direct control over Inputs : Input은 직접적으로 조절이 가능하다.

Input Metric 역발굴하는 방법

• 실험에서 Output Metric을 Success Metric으로 잡았고 실험이 성공적이었다면 → 실험군에서 유의미하게 상승한 Product Flow 단위의 Input Metric을 찾는다.

Input Metric - Output Metric 관계 증명하는 방법

• 실험에서 Input Metic을 Success Metric으로 잡았고 실험이 성공적이었다면 → 연결고리가 있다고 예상되는 Output Metric이 유의미하게 상승했는지 확인한다.

 

North Star Metric(북극성 지표)와 Input Metric의 상관관계와 예시

아래는 서비스를 "진짜로" 성장시키는 지표 찾기에서 발췌한 내용이다. 글에서 말하는 Output Metric은 북극성 지표(North Star Metric)와 같은 지표를 의미한다. Input Metric이 나온 부분만 발췌하여 정리했다.

북극성 지표를 달성할 수 있는 투입 지표(Input Metric) 정의하기

북극성 지표를 정의했다면, 이를 달성하기 위한 투입 지표들을 고민해 볼 차례이다. 제품/마케팅/세일즈 측면에서 나누어 생각해 볼 수도 있고, 아니명 사용자 흐름에 따라 퍼널(Funnel) 별로 나누어 생각해볼 수도 있겠다. 아래는 Spotify를 예시로 쪼개 본 지표다.

그림 1 출처 : https://www.reforge.com/blog/north-star-metric-growth

북극성 지표이자 Output Metric인 ‘음악 재생 시간’을 늘리기 위해 Input Metric으로써 기존 유저를 다시 불러오거나, 세션 당 시간을 늘려야 한다고 정의했다. 또 이를 달성하기 위해서 세부적으로 투입 지표들이 쪼개질 수 있겠다. Amplitude의 글에서는 투입 지표들을 설정할 때 고려하면 좋을 사항들을 4가지로 분류해 놓았다.

넓이(Breadth), 깊이(Depth), 빈도(Frequency), 속도(Efficiency) 다. 단어와 예시만으로 이해가 잘 되지 않는다면, 아래와 같이 질문에 대답해 보면 투입 지표를 더 잘 설정해 볼 수 있을 것 같다.

• Breadth : 넓이, How many active users are engaging?
• Depth : 깊이, What level of engagement are they reaching?
• Frequency : 빈도, How often does each user engage?
• Efficiency : 효율, How fast does each user succeed?

Spotify 의 예시를 계속 사용해 보자면, 스포티파이 북극성 지표를 위한 투입 지표 (Input Metric) 는 다음과 같다. AB180과 Amplitude 의 세미나에서 나온 예시이다.

• Breadth : Listeners (# of trial users, # of premium subscribers)
• Depth : Content engagement (# of hours per session)
• Frequency : Listening Frequency (# of sessions per week)

넓이(Breadth)는 트래픽이나 거래의 건수라고 볼 수 있겠고, 깊이(Depth)는 그런 트래픽, 거래 건들 이 얼마나 깊게 상호작용하는지를 빈도(Frequency)는 얼마나 자주 상호작용하는지, 효율(Efficiency)은 얼마나 빠르게 상호작용이 이루어지는지에 대한 지표들이라고 볼 수 있겠다.

투입 지표(Input Metrics)를 달성하기 위한 행동들 정하기

투입 지표를 결정했다면, 그러한 지표들을 높이기 위한 행동들을 정할 차례이다. 투입 지표가 어느정도 뾰족하게 잡혔다면, 이를 달성하기 위한 행동은 비교적 명확하게 나올 것이다.

그림 2 출처 : https://amplitude.com/blog

위 그림 2에서 볼 수 있듯, 넓이(Breadth)를 위한 투입 지표를 신규, 혹은 다시 돌아온 유저의 수로 정했다면 신규 유저를 위한 마케팅 캠페인을 최적화한다던가, 이탈된 유저에게 쿠폰을 줘 다시 돌아오게 만든다던가 하는 행동(Product Intiatives) 들이 나올 수 있다. 이는 일회성일수도, 아니면 지속적일 수도 있다. 

위에서 언급한 4가지 측면에 따라 투입 지표를 나누었으며, 투입 지표를 달성하기 위한 행동들을 적어 두었다. 저것들을 모두 다 할 수도 있겠지만, 투입 지표 중 달성 가능성과 효과 등을 고려해 우선순위를 정한 다음 중요한 것부터 시작하는 것이 현실적이라고 본다.

 

요약해 보자면, Input Metric은 측정과 컨트롤이 가능한 지표여야 하며 Output Metric은 측정이 가능할지라도 직접적인 컨트롤이 불가능한 지표이다. 두 지표는 긴밀하게 연결되어 있으며 유의미한 Input Metric을 만들어내려면 행동들(Product Intiatives)을 만들어 연결 지어야 한다. 두 지표에 대해 찾아보며 기준과 선이 모호해 보여서 깊게 고민해 볼 만한 가치가 있을까 생각이 들었었는데 목표 지표와 성공 지표를 설정해 가는 과정에서 무조건적으로 이해해야 하는 부분인 것을 알게 되었다.