홍보물 효과 측정 보고서

비즈하우스가 직접 카페에 홍보물을 설치해보고, 그 효과를 측정해보았습니다!

어떠한 액션이 목적 달성에 효과적이었가를 정확히 판단하려면, 그와 관계없는 모든 요인을 제거하는 과정이 선행되어야만 합니다. 만약 그러한 잡음(noise)을 제거하지 않고 결과를 섣불리 판단한다면, 매출을 올리는데 진정으로 효과가 있는 방법이 아닌 다른 것에 투자를 하게되는 오류를 범할 수 있기 때문입니다. 저희는 비즈하우스에서 만든 홍보물이 매출 상승에 도움이 될 것이라는 확신을 갖고 실험에 임하였습니다. 그러나 이 실험의 결과는 저희 스스로를 평가하는 것임과 동시에 누구나 납득할 수 있는 것이어야 하기 때문에, 최대한 냉정하게 분석하고 평가하였습니다. 자세한 내용은 아래와 같습니다.

1. 전체 데이터 확인하기

(매출정보 보호를 위해 임의로 표준화한 값입니다.)

 
 
홍보물이 배치된 날짜는 정확히 12월 1일이었고, 저희는 12월 한 달 간 그 효과를 측정하기로 했습니다. 따라서 17년 12월 값까지 확인할 수 있는 위 자료는 ‘커피퐁당의 연간 판매량 추이’임과 동시에 ‘홍보물 배치의 효과 성적표’입니다. 간단히 살펴보면, 총 판매량은 전년 동월과 큰 차이가 없는데 차의 판매량은 확연히 증가했음을 알 수 있습니다. 또한 16년에는 11월-12월로 넘어가면서 차 판매량이 감소했는데, 17년에는 되려 증가했네요. 이렇게만 보면 홍보물을 배치한 17년 12월의 차 판매량 성적은 훌륭했다고 평가 할 수 있겠습니다.
 
 

 이번에는 그래프가 아닌 숫자로 확인해 보겠습니다. 전체나 커피 판매량이 증가 or 감소를 반복하며 불규칙적으로 변하는 반면에, 차 판매량은 날씨가 따뜻해지면서 일관되게 감소하다가 추워지면 다시 일관되게 증가함을 알 수 있습니다. 이는 비단 16~17년도 뿐만이 아니라 그 이전 데이터에서도 꾸준히 확인할 수 있는 패턴이며, 차의 판매량이 꽤 좋은 시계열 자료(Time-series)임을 말해줍니다. 그리고 여기서 좋은 시계열 자료라는 말은 과거의 값으로 미래를 예측하기 비교적 쉽다는 사실을 의미합니다. 이러한 특성을 이용하여 17년 12월의 판매량을 예측하고, 이를 실제 값과 비교해보면 다음과 같습니다.   
 

위의 예측 값은 16년 11~12월의 변동을 근거로 단순 추정한 값입니다. 특별한 요인의 개입이 없이 자연적인 추세를 따른다면 11월의 판매량보다 하락해야 하는데, 실제로는 더 상승했네요. 예측 값보다 무려 116%를 초과 달성했으므로, 역시 홍보물을 배치했던 17년 12월의 차 판매량 성적은 정말로 훌륭했다고 할 수 있겠습니다.
 
하지만 처음에 말씀드렸던 것처럼, 판매량을 높이는 요인은 여러 가지가 있을 수 있습니다. 따라서 홍보물 외에 판매량에 영향을 미칠만한 요인을 제거해야만 홍보물로 인한 판매량 증가 효과를 오롯이 측정할 수 있겠죠? 지금부터 그 요인들을 차례로 제거하도록 하겠습니다.

2. 홍보물 배치의 “진짜” 효과 측정

① 계절적 요인 제거

(매출정보 보호를 위해 임의로 표준화한 값입니다.)

 
앞서 언급했고 그래프에서도 드러나듯, 차 판매량은 계절의 영향을 크게 받습니다. 그러므로 예를 들어, 6월과 12월의 값을 비교한 다음 ‘판매량이 엄청나게 상승했다’라고 판단하는 것은 옳지 않습니다. 이 경우에는 ‘계절’이라는 요인이 판매량 증가에 가장 큰 영향을 미쳤을 것이기 때문이죠. 계절의 변화에 따른 판매량 변동분을 제거하려면 다음과 같이 전년 동월 값과 비교하면 됩니다.
 

확인 결과, 차 판매량이 전년 동월대비 전반적으로 증가했음을 알 수 있습니다. 홍보물을 배치하지 않았던 11월에도 꽤 많이 증가했네요.

② 방문 수 요인 제거

 
커피퐁당 사장님 말씀에 의하면, 17년 초에 같은 건물에 있던 프랜차이즈 업체가 없어져서 방문 수가 꾸준히 증가했다고 합니다. 이는 차 판매량에도 영향을 미쳤을 것이므로 과감히 제거하겠습니다.
 

일반적으로 방문 수가 증가하면 총 판매량이 증가합니다. 카페를 방문하는 사람들은 ‘구매’라는 명확한 목적을 갖고 들어오기 때문이죠. 따라서 방문 수가 전체적으로 얼마나 늘었는가는 총 판매량의 전년대비 증가분을 통해 유추 가능합니다. 11월에는 전년대비 13%, 12월에는 7% 증가한 것으로 계산되므로 이를 각각 제거한 값이 위 표에서 맨 오른쪽 열(column)입니다.

③ 메뉴 수 요인 제거

 
메뉴 수가 증가해도 총 판매량이 증가합니다. 커피퐁당에서는 16년 대비 ‘아이스티 레몬’, ‘진저레몬티’가 없어지고 ‘수제자몽티’, ‘아인슈페너’, ‘아이스녹차’가 새로 생겼습니다. 메뉴가 늘어난 상황에서 차 판매량 전체를 전년 동월과 비교하는 것은 옳지 않습니다. 그러므로 위에 언급된 5개 메뉴를 모두 제거하고, 과거와 겹치는 메뉴로만 측정하였습니다.
 

④ 설명 불가 요인 제거

 
메뉴 수 요인까지 제거한 결과를 보면 여전히 11월의 전년 동월대비 증가분이 큰 것을 알 수 있습니다. 11월에는 홍보물을 전혀 사용하지 않았기 때문에, 저희는 12월의 결과값이 매우 긍정적임에도 불구하고 위 결과를 받아들이지 않기로 했습니다. 저희는 여기서, 12월에 홍보물을 배치하지 않았더라도 기본적으로 11월의 증가분 (40%) 만큼 판매량이 증가했을 것이라고 간주하였습니다.
 

11월의 증가분 40%를 설명할 수 없는 요인으로 판단한 다음, 이를 과감히 제거한 결과입니다. 이로써 통계적으로 분석이 가능한 모든 경우의 요인을 제거하였습니다. 가장 마지막으로 계산된 22%는 홍보물 배치로 인한 순수한 결과를 나타냅니다. 물론 정확한 값이라 보기는 힘들지만, 매 단계마다 가능한 최대값을 제거해 나갔기 때문에 실제로는 결코 22%보다 낮지 않을 것입니다.
 
이 22%라는 증가분은 ‘홍보물 배치가 차 전체 판매량에 미친 영향’을 나타냅니다. 홍보물에 모든 메뉴를 노출하지는 않았기 때문에여기에는 홍보물로 인한 직, 간접적 효과가 모두 포함되어 있습니다. 그러나 직접적으로 홍보된 메뉴는 ‘꿀유자차’, ‘꿀생강차’, ‘후르츠펀치’입니다. 이 메뉴들은 전년 동월에도 존재했기 때문에, 이들에만 한정하여 비교한다면 홍보물의 효과를 조금 더 정확하게 알 수 있겠죠?
 

‘꿀유자차’, ‘꿀생강차’, ‘후르츠펀치’에만 한정하여 이전의 모든 과정을 거친 결과입니다. 메뉴 수는 16년과 동일하므로 분석 과정에서 생략하였습니다. 보시다시피 홍보물에 직접적으로 노출된 메뉴들의 경우에는 확실히 드라마틱한 판매량 증가를 확인할 수 있었습니다.

이번 실험을 통해 얻은 명확한 결과를 요약하자면 다음과 같습니다.
 

첫째, 홍보물 배치의 직접적 효과로 인해 홍보물에 노출된 메뉴의 차 판매량이 전년대비 88% 증가했다.
둘째, 홍보물 배치의 간접적 효과로 인해 전체 차 판매량이 전년대비 22% 증가했다.

막연한 기대였던 것을 실제 수치로 확인할 수 있었던, 정말 좋은 실험이었습니다. 이 결과가 소상공인 여러분들의 홍보 활동에 도움이 되기를 진심으로 바라며 이상으로 홍보물 효과 분석을 마치겠습니다.

※ 비즈하우스 셀프 마케팅 프로젝트는 소상공인 여러분 대신에
비즈하우스가 직접 홍보물을 설치해보면서 인쇄홍보물의 효과를 측정해보는 프로젝트입니다.
보다 자세한 내용은 다음 포스팅을 참고해주세요:)
 

1. 비즈하우스가 직접 설치해본 인쇄홍보물 후기!
2. 홍보물, 얼마나 효과가 있을까?
3. 홍보물 효과 측정 보고서