이제 직접 해볼 차례

1장면

1-1의 첫 문장을 기억하는가.

2019년, Uku Täht라는 개발자가 Plausible Analytics를 만들었다. 제품은 잘 작동했다. 그런데 몇 달이 지나도 돈 내는 사용자는 손에 꼽을 정도였다.

그때 던진 질문이 "제품이 나빴을까?"였고, 답은 "아니오"였다.

지금은 그 답을 훨씬 자세히 말할 수 있다.

무엇을 정해야 했는지(트랙 2), 뭐라고 말해야 했는지(트랙 3), 어디로 가야 했는지(트랙 4), 온 사람이 왜 나갔는지(트랙 5), 숫자를 어떻게 읽어야 하는지(트랙 6), 무엇이 쌓이는지(트랙 7).

여기까지가 배운 것이고, 지금부터는 다른 종류의 일이 시작된다.

2해부 — 배운 것과 아는 것은 다르다

지금 상태를 정직하게 보자.

세 번째는 읽어서 알 수 없다. 해봐야 안다.

그리고 여기서 중요한 게 있다. "해본다"에도 잘하는 방법과 못하는 방법이 있다.

두 번째 줄이 핵심이다. 결과를 본 뒤에 "이 정도면 성공"을 정하면, 사람은 거의 항상 자기가 한 일을 성공으로 읽는다. 악의가 아니라 그렇게 된다.

3원리 — 실험 한 번의 모양

한 번 해보는 것을 이렇게 구성하면, 결과와 무관하게 배우는 게 남는다.

하기 전에 적을 것

"어느 정도면 통한 걸로 볼 것인가"를 미리 못 정하겠으면, 그건 지표를 잘못 골랐거나 아직 흔들림 폭을 모르는 것이다.

하고 나서 적을 것

"판단 불가"가 가장 흔하다

이걸 미리 알고 시작해야 한다.

6-3에서 배운 대로, 지금 규모에서는 대부분의 실험이 "판단 불가"로 끝난다. 변화가 평소 흔들림 안에 있어서 구분이 안 되기 때문이다.

이건 실패가 아니다. "이 지표로는 이 규모에서 판단이 안 된다"는 것 자체가 다음 실험을 설계하는 데 쓰이는 정보다.

판단 불가를 실패로 여기면 몇 주 만에 그만두게 된다. 성공한 횟수가 아니라 끝까지 판정한 횟수를 세는 게 맞다.

그래서 뭘 할 것인가 — 이게 빠지면 일기다

결과를 보고 판정까지 했는데 아무것도 안 바뀌면 그건 기록일 뿐이다.

4확인

Q1. "첫 화면 문구를 바꾸고 커뮤니티에 글도 올렸다. 구독이 3명 늘었다." 여기서 무엇을 배웠나?

Q2. 실험을 다섯 번 했는데 네 번이 "판단 불가"였다. 잘못하고 있는 건가?

5네 경우엔 — 첫 실험 정하기

트랙 1~7을 지나오면서 고칠 후보가 여러 개 나왔다. 모아보면 이렇다.

고르는 기준

6-3에서 배운 것을 적용하면, 작은 변화는 지금 규모에서 측정이 안 된다. 그러니 큰 것 중에서 고르는 게 맞다.

그리고 1-3의 진단을 기억하자.

지금 고칠 칸은 ③(홍보)이 아니라 ②(뭐라고)다.

첫 번째 후보가 여기에 정확히 해당한다.

다만 하나 확인할 것

확인 메일 점검은 "작지만 확실"에 있다. 이건 측정 문제가 아니라 고장 점검이라 실험이 아니다. 새는 곳이 있으면 그냥 고치면 된다. 5-1에서 본 대로 "살 마음이 있는 사람이 못 사고 있는 자리"가 가장 비싸다.

고장 점검은 실험 전에, 그냥 한다. 실험은 "어느 쪽이 나은지 모를 때" 하는 것이다.

이제 도구로

여기까지 왔으면 실험 기록 도구를 쓸 준비가 됐다.

그 도구는 위의 칸들을 그대로 받는다 — 가설, 지표, 기준값, 성공 기준, 측정일, 교란요인. 그리고 실행이 시작되면 성공 기준을 잠근다. 결과를 보고 나서 기준을 고칠 수 없게 하려는 것이다.

처음 이 프로젝트를 시작할 때 그 도구를 먼저 만들었는데, 순서가 거꾸로였다. "가설을 쓰세요"라는 빈칸 앞에서, 포지셔닝포지셔닝포지셔닝은 사람들 머릿속에 "이건 OO 같은 것"이라는 자리를 차지하는 일이다. 예를 들어 "구글 애널리틱스 대안"이라고 말하면, 듣는 사람이 이미 아는 것 위에 얹혀서 설명이 짧아진다. 반대로 자리를 안 정하면 상대가 처음부터 이해해야 해서 대부분 중간에 포기한다. 이 뭔지 모르면 아무것도 쓸 수 없기 때문이다. 지금은 다르다.

써볼 것

1. 위 후보 중 하나를 고른다. 큰 것 중에서.
2. §3의 "하기 전에 적을 것" 여덟 칸을 채운다. 특히 "어느 정도면 통한 걸로 볼 것인가"를 지금 정한다.
3. 채우다가 막히면, 막힌 칸이 가리키는 트랙으로 돌아간다.
   • 지표를 못 고르겠다 → 트랙 6
   • 왜 통할지 설명이 안 된다 → 트랙 3
   • 애초에 누구를 위한 건지 모르겠다 → 트랙 2

실험 도구 열기

8/6 게시가 예정돼 있다면, 그것부터 이 형식으로 적어두는 게 좋다. 게시 전 숫자를 안 적어두면 게시 효과를 영영 못 잰다(6-2).

한 줄 정리

여기까지가 읽어서 알 수 있는 것이고, 내 경우에 뭐가 통하는지는 해봐야 안다. 하기 전에 기준을 정하고, 하나만 바꾸고, 적어둔다. 대부분은 "판단 불가"로 끝나는데 그게 정상이다 — 성공한 횟수가 아니라 끝까지 판정한 횟수를 센다.

전체 지도 다시 보기

막히면 이 표에서 해당 트랙으로 돌아가면 된다.