시장 실패의 법칙을 깰 수 있는 실험의 3단계

구로사와 아키라 감독의 고전 영화 <라쇼몽>을 보면 똑같은 살인사건을 두고 네 명의 증인이 서로 모순된 증언을 합니다. (자세한 스토리가 궁금하신 분은 아래에 제가 작성한 글을 참고해주세요!)

아쿠타가와 류노스케 - 나생문, 덤불 속 & 영화 라쇼몽 리뷰

 기업이 신제품을 출시하거나 새로운 사업을 시작하면 증인의 숫자만큼이나 많은 목격담이 나옵니다. 이른바 라쇼몽 효과가 판을 치죠. 심지어 자신이 직접 목격하고 참여했던 일들조차 자신만의 관점과 편향, 불완전한 기억으로 인해 왜곡될 수밖에 없습니다. 이러한 왜곡을 최소화하기 위해서라도 기업에서 신제품이나 신사업을 출시하기 전에 고객에게 미치는 영향을 파악하는 실험을 필수적으로 해야 합니다. 실험을 통해 의사결정을 하기 위해선 1. 가설 설정, 2. 실험, 3. 데이터 분석의 3단계가 필요합니다. 

1. 대립가설 설정, 아이디어의 구체화

 가설은 아이디어의 기본 전제와 그에 대한 시장의 호응에 대해 어떤 기대를 하고 있는지 짧은 문장으로 표현된 것입니다. 기무가설에 반하는 대립가설 설정은 너무나 중요하기 때문에 명확해야 할 뿐만 아니라 실험이 가능해야 합니다. 새로운 제품과 서비스를 출시하기 전에 이것이 될 놈인지 아닌지를 먼저 검증하는 거죠. 안 될 놈을 실험하는 데에 돈과 시간을 사용하는 건 낭비에 불과하기 때문입니다. 시장에서 관심을 갖지 않으면 그것들이 아무리 잘 설계되고 만들어지고 마케팅되어도 아무 소용이 없습니다. 결국 성공하기 위해선 될 놈을 골라내야 하는 것입니다.

 다만 가설은 측정 가능한 것을 정확한 용어를 사용해서 구체적으로 표현되어야 합니다. 예를 들어 실제로 영국 국세청에서 체납된 세액을 징수하기 위한 독촉장을 살펴봅시다. 독촉장에 "지금 선생님이 거주하는 도시에서 10명 중 9명이 세금을 완납하셨습니다."는 요지의 문구를 추가하면 체납세액을 줄일 수 있다는 아이디어가 생겼다고 해봅시다. 그러면 이러한 아이디어를 검증하는 실험을 하기 전에 다음과 같은 구체적인 대립가설을 세워야겠죠? '새로운 문구가 추가된 세금 독촉장을 받은 체납자 중에서 적어도 50%는 체납된 세금을 납세할 것이다.'와 같이 숫자로 표현된 명료한 가설을 수립해야 할 것입니다. 그리고 이처럼 새로운 아이디어가 긍정적인 효과가 있을지 파악하는 가장 확실한 방법은 실험을 통해 자신만의 데이터를 수집하는 것입니다.

2. 실험하기, 자신만의 데이터 수집

 마이클 루카(Michael Luca)와 맥스 베이저만(Max Bazerman)은 책 『실험의 힘』 (원제 : The Power of Experiments)을 통해 실험이야말로 데이터가 이끄는 세상에서 될 놈인지 아닌지를 판단하기 위한 신뢰성 높은 방법이라고 말합니다. '의견보다 데이터 (Data Beats Opinion)'이라는 구글의 핵심 운영 원칙에서 알 수 있듯이 실험을 통해 데이터를 모으고, 데이터에 기초한 의사결정을 내려야 합니다. 우리에겐 생각, 말, 약속 등과 같은 측정 불가능한 것이 아닌 숫자로 표현 가능한 자료가 필요합니다. 우리의 사고 과정만을 거쳐 나온 결론은 틀림없이 인지 오류와 편향에 의해 실험 자체가 왜곡되기 때문입니다.

 그렇다면 자신만의 데이터를 수집하는 실험 방법은 무엇일까요? 솔직히 말하자면 실험을 실행하는 단 하나의 완벽한 방법은 없습니다. 여러분이 가진 의문에 따라 실험에 접근하는 방법이 달라져야 하기 때문입니다. 유명 유튜버 신사임당은 아래와 같이 말했습니다. 

주사위를 한 번 던져서 3이 나오면 10억 원을 벌고, 나머지 숫자가 나오면 1억 원을 잃는 게임이 있다고 하자. 여섯 번 중 다섯 번은 망하지만 횟수가 늘어날수록 돈을 버는 게임이다. 전 재산이 1억 원이 안 되는 사람은 이 게임을 할 수조차 없다. 빚을 내서 1억원을 마련하더라도 단 한 번에 모든 운을 걸고 기도하는 수밖에 없다.
나는 더 작은 사업을 했어야 했다. 평생 모은 돈을 쏟아붓고 억지로 쥐어짠 열정과 시간 그리고 체력을 갈아 넣는 대신, 더 작고 지속 가능하면서 운을 맞이할 확률을 필연에 가깝게 만들 수 있는 게임을 했어야 했다.
처음에는 영원히 할 수 있는 수준의 시도를 하는 것이 좋다. 성공하면 한 단계 높은 시도로 시간을 채우고, 실패하면 더 작은 시도로 시간을 채운다. 지금 수준을 지속하는 데 열정이 필요하다면 수준을 더 낮췄다.
-신사임당 주언규 책 『킵고잉』

 신사임당님의 말을 실험에 적용한다면 단 한 번의 실험으로 경영과 관련된 중요한 의문을 제기하고 그 답을 찾는 것보다 일련의 반복되는 실험을 통해 실험 기준틀을 개발해야 한다고 이해할 수 있습니다. 책 『실험의 힘』에 따르면 조직이 어떤 유형의 결정을 마주하는 빈도가 높아지면, 단순한 상품 평가에 만족하는 것보다 기준틀을 마련하는 게 무엇보다 중요해진다고 합니다. 조직은 실험을 통해 기존 이론을 특정한 상황에 맞추어 갈 수 있습니다.

3. 데이터 분석을 통해 의사결정을 내리는 3단계 : 추진하라, 폐기하라, 수정하라

 실험을 반복 수행하고 나면 마침내 중요하고 믿을 만한 데이터가 생깁니다. 하지만 자신만의 데이터가 생긴 것만으로는 충분하지 않을 것입니다. 이것들을 해석해야만 어떤 의사결정의 기초가 될 결론을 도출할 수 있습니다. 만약 실험이 객관적으로 설계되고 결과가 공정히 평가된다면 어떤 분석 결과라도 사실로서 받아들여야 할 것입니다. 하지만 책 『실험의 힘』에 따르면 진정한 성공을 위해서 어떤 데이터를 어떻게 사용해야 할지 신중하게 생각해야 합니다. 결과 자체를 측정하기는 쉽지만 적절한 결과의 선택은 여전히 중대한 과제이기 때문입니다. 특히 기업의 실험에는 경영과 관련된 중요한 문제가 포함되기 때문에 주의가 필요합니다.

때때로 실험은 지나치게 편협하고 단기적인 결과, 즉 깊이 생각하지 않아도 즉각적으로 머릿속에 떠오르고 쉽게 측정되는 결과에 초점을 맞출 수 있다. 기업은 지향하는 결과를 명확히 할 때, 또 현재 달성한 결과와 가장 원하는 결과를 접목하는 방법을 생각할 때 이익을 얻을 수 있다.
마이클 루카 & 맥스 베이저만, 『실험의 힘』 P.208 인용

 실험의 결과를 놓고 우리는 3가지 선택이 가능합니다.

1) 추진하라
 어떤 특별한 상품이나 정책이 어떤 이유에서 어떤 효과를 갖는지 실험의 도움을 받을 수 있습니다. 하지만 될 놈인지 아닌지는 100% 확신할 수는 없는 법이죠. 그럼에도 불구하고 가설을 제대로 검증하지 않아서 시장에서 실패하는 일은 없을 것입니다. 적어도 실험은 기존의 상품이나 정책을 객관적으로 평가하는 데 도움을 줄 수 있습니다.

2) 폐기하라
 새로운 아이디어를 너무나 성공시키고 싶겠지만, 실험의 결과가 좋지 않을 수도 있습니다. 예를 들어 에어비앤비에서 실험을 통해 인종차별이 있음을 확인했다고 할지라도 기존에 예약자의 사진을 공개하는 정책이 인종차별이라고 결론짓지 않을 수도 있죠. 이럴 땐 실험 결과를 폐기하는 것입니다. 그렇기 때문에 실험을 근거로 경영 판단을 하려면 단기적인 효과와 장기적인 효과 모두에 대한 고려가 필요합니다. 책 『실험의 힘』에 따르면 실험은 기업의 성과를 개선하고, 더 나은 의사결정을 용이하게 해 주는 소중한 도구라고 말합니다. 기업 평판과 고객 만족 같은 다른 변수들과 금전적 이익에 각각 어떤 가중치를 두느냐는 전적으로 기업의 몫이기에 데이터 폐기에는 편향에 대한 주의가 필요합니다.

3) 수정하라
 잘 설계된 실험을 진행한다면 가설을 실험하는 과정에서 표적 시장이나 제품에 대한 시장 호응 가능성과 관련해 귀중한 사실을 발견할 수 있습니다. 그렇다면 과감하게 조사한 사실을 바탕으로 최초의 아이디어와 가설을 수정해야 할 것입니다. 최초의 가설에 대해서 시장의 관심이 충분치 않은 것으로 밝혀졌더라도 그와 관련된 다른 아이디어에 대해서는 시장이 큰 관심을 가질 수도 있기 때문입니다. 또는 완전히 반대되는 가설을 수립할 수도 있겠죠. 다시 말해 실험은 사실 확인을 통해, 기존 기준들에서 빠진 것이 무엇인지 파악하는 데 도움을 줄 수 있다는 것입니다.