1장면
구독자가 4명이다. 그중 2명이 메일을 열었다.
오픈율오픈율은 보낸 메일 중 실제로 열어본 비율이다. 구독자가 늘어도 오픈율이 계속 떨어지면, 사람들이 해지는 안 하면서 조용히 안 읽고 있다는 뜻이다. 해지 수보다 이쪽이 진짜 상태를 더 잘 알려준다. 단, 구독자가 몇 명뿐일 때는 한 명만 바뀌어도 비율이 크게 흔들려서 믿을 수 없다. 50%.
이 숫자를 기록표에 적어도 될까?
다음 주에 한 명이 더 열어서 3명이 열었다고 하자.
오픈율 75%.
일주일 만에 50% → 75%. 25%p 상승이다. 문구를 고친 것도 아닌데.
여기서 "우리 오픈율이 올랐다"고 읽으면 안 된다. 실제로 일어난 일은 이것뿐이다 — 한 사람이 메일을 더 열었다.
2해부 — 한 명이 움직이면 얼마가 움직이나
같은 "한 명"이 전체에 미치는 영향이 규모에 따라 이렇게 다르다.
| 전체 인원 | 한 명이 바뀌면 |
|---|---|
| 4명 | 25%p |
| 20명 | 5%p |
| 100명 | 1%p |
| 1,000명 | 0.1%p |
4명일 때 25%p는 아무 의미가 없다. 그 사람이 그날 바빴는지, 메일을 스팸함에서 늦게 봤는지 같은 개인적인 사정으로도 25%p가 움직인다.
그런데 숫자로 적어놓으면 의미가 있어 보인다. 이게 함정이다. 50%와 75%는 명확한 차이처럼 읽히는데, 실제로는 아무것도 구분되지 않은 것이다.
3원리
규칙: 작을수록 크게 흔들린다
숫자가 작으면 비율이 심하게 요동친다. 이건 뭘 잘못해서가 아니라 원래 그렇게 되어 있는 것이다.
같은 사이트인데 주마다 이렇게 나올 수 있다.
| 주 | 방문자 | 구독 | 전환율전환율은 온 사람 중 원하는 행동을 한 사람의 비율이다. 100명이 와서 3명이 구독했으면 3%다. 방문자 수만 보면 늘었는지만 알 수 있지만, 전환율을 보면 내 페이지가 설득을 하고 있는지를 알 수 있다. |
|---|---|---|---|
| 1주 | 100 | 2 | 2.0% |
| 2주 | 100 | 5 | 5.0% |
| 3주 | 100 | 1 | 1.0% |
아무것도 안 바꿨는데 1%에서 5%까지 움직인다. 이 상태에서 2주차에 뭔가를 했다면 "2.5배 개선!"이라고 읽었을 것이다.
그래서 A/B 테스트를 지금 하면 안 된다
A/B 테스트는 두 버전을 동시에 보여주고 어느 쪽이 나은지 보는 방법이다. 좋은 방법인데, 작은 숫자에서는 아무것도 알려주지 않는다.
| 상황 | A안 | B안 | 결론 |
|---|---|---|---|
| 각 50명씩 | 2명 전환 | 4명 전환 | "B가 2배!" |
2명 차이다. 그리고 위에서 봤듯이 아무것도 안 바꿔도 그 정도는 움직인다. 여기서 B를 선택하면 동전 던지기로 정한 것과 다를 게 없다.
주 100명 규모에서 A/B 테스트가 의미를 가지려면 한쪽이 다른 쪽보다 몇 배는 좋아야 한다. 그런 차이는 버튼 색이나 문구 몇 글자로 나오지 않는다.
그래서 지금 할 일은 A/B 테스트가 아니라, 큰 변화를 만드는 것이다. 첫 화면에 "누구를 위한 것인지"를 넣는 것 같은 변화는 크다. 버튼 색을 바꾸는 건 작다.
그럼 작은 숫자로는 아무것도 못 하나
아니다. 다른 종류의 정보를 얻을 수 있다.
| 인원이 적을 때 | 인원이 많을 때 |
|---|---|
| 비율을 못 믿는다 | 비율을 믿을 수 있다 |
| 한 명 한 명을 직접 볼 수 있다 | 개인은 못 본다 |
| 직접 물어볼 수 있다 | 설문으로만 가능 |
구독자 4명은 "통계가 안 되는 상태"이면서 동시에 "4명 전부와 대화할 수 있는 상태"다.
그리고 4명과의 대화에서 나오는 정보가, 4명의 오픈율보다 훨씬 유용하다. 2-2에서 배운 대로 과거를 물으면 된다.
판단 기준 정리
| 숫자 규모 | 할 수 있는 것 |
|---|---|
| 수십 명 이하 | 비율 보지 말고 직접 대화 |
| 수백 명 | 큰 변화의 전후 비교 (기준을 미리 정해서) |
| 수천 명 이상 | A/B 테스트가 의미 있어짐 |
지금은 첫 번째 칸이다.
그리고 흔들림의 폭을 미리 알아두면 좋다
뭔가를 바꾸기 전에, 아무것도 안 한 상태에서 몇 주치를 봐두면 "평소에 이 정도는 흔들리는구나"를 알게 된다.
그러면 나중에 변화가 생겼을 때 판단이 가능해진다.
- 평소 흔들림 범위 안 → 신호 아님
- 평소보다 확실히 큼 → 볼 만함
이 기준을 미리 안 정해두면, 나중에 결과를 보고 나서 기준을 맞추게 된다.
4확인
Q1. 방문자 200명에게 새 첫 화면을 보여줬더니 구독이 3명에서 5명으로 늘었다. "67% 개선"이라고 보고해도 되나?
답 보기
안 된다. 2명 차이다.
67%라는 숫자가 크게 들리지만 실제 변화는 3명 → 5명이다. 그리고 아무것도 안 바꿔도 그 주에 5명이 나올 수 있다(위의 표 참고).
비율로 말하면 커 보이고 실제 수로 말하면 작아 보인다. 작은 숫자일수록 비율이 아니라 실제 수로 말해야 정직하다.
그럼 어떻게 해야 하나? 두 가지다.
- 더 오래 본다. 4주치를 모으면 판단이 조금 나아진다
- 더 큰 변화를 만든다. 2명 차이가 아니라 눈에 띄는 차이가 나올 만한 변화
그리고 이 경우엔 "모르겠다"가 정직한 결론이다. 모르겠다는 결론이 나쁜 게 아니다 — 잘못 아는 것보다 훨씬 낫다.
Q2. 구독자가 4명뿐이라 아무것도 측정할 수 없다. 그럼 뭘 해야 하나?
답 보기
4명에게 직접 물어본다. 그게 지금 할 수 있는 가장 강한 조사다.
4명은 통계로는 아무 의미가 없지만, 4명 전부와 이야기할 수 있는 유일한 시기다. 구독자가 1,000명이 되면 절대 못 하는 일이다.
물을 것은 2-2에서 배운 대로 과거다.
- 어떻게 알고 오셨어요?
- 그전에는 AI 소식을 어떻게 챙기셨어요?
- 지금도 그걸 같이 보시나요?
한 명의 구체적인 답이, 4명의 오픈율보다 훨씬 많은 걸 알려준다. 그리고 이 답들이 트랙 2(누구에게)와 트랙 3(뭐라고)의 재료가 된다.
5네 경우엔 — 지금 하면 안 되는 것과 해야 하는 것
하면 안 되는 것
| 하지 말 것 | 이유 |
|---|---|
| 오픈율 % 를 기록표에 의미 있게 적기 | 4명이면 한 명당 25%p |
| A/B 테스트 | 몇 배 차이가 아니면 구분 안 됨 |
| 주별 전환율 비교로 판단 | 흔들림이 변화보다 큼 |
| 버튼 색·문구 몇 글자 바꾸고 효과 재기 | 변화가 너무 작아 묻힘 |
⚠️ 오픈율을 기록하지 말라는 게 아니다. 적어두되, "50% → 75%"를 개선으로 읽지 말라는 것이다. 나중에 구독자가 늘면 그때 이 기록이 의미를 갖는다.
해야 하는 것
| 할 것 | 왜 |
|---|---|
| 4명에게 직접 메일 보내기 | 지금만 가능한 조사 |
| 큰 변화를 만들기 | 첫 화면에 "누구를 위한 것" 넣기 등 |
| 실제 수로 기록하기 | "4명", "6건" — 비율 말고 |
| 흔들림 폭을 관찰해두기 | 게시 전 몇 주 흐름을 봐둔다 |
8/6 게시에 적용하면
6-2에서 나온 결론과 이어진다.
- 자연 유입만으로 48시간에 최대 6명까지 나올 수 있다
- 그러니 게시 후 5명이 와도 구분이 안 된다
- 확실히 그 범위를 넘는 숫자를 기준으로 잡아야 한다
그리고 이건 나쁜 소식이 아니다. 미리 알고 기준을 정하면, 결과가 애매할 때 "애매했다"고 정직하게 결론 낼 수 있다. 미리 안 정하면 애매한 결과를 성공으로 읽게 된다.
써볼 것
- 오픈율을 지금 확인해서 기록한다. 단, 비율이 아니라 실제 수로. "4명 중 2명이 열었음"이라고 적는다.
- 4명에게 보낼 메일 초안을 세 문장으로 써본다. 길면 안 보내게 되고, 답장도 안 온다.
한 줄 정리
숫자가 작으면 비율이 심하게 흔들린다. 4명일 때 한 명은 25%p다. 그래서 지금은 A/B 테스트도, 비율 비교도 의미가 없다. 대신 지금만 할 수 있는 게 있다 — 전부와 직접 이야기하는 것.
다음 레슨 → 6-4. 평균의 함정