데이터를 보고 결정하는 일에는 잘 안 보이는 단계가 하나 있습니다. 그 데이터가 원본인지, 원본을 요약한 사본인지는 화면에 적혀 있지 않습니다.

두 화면은 대개 똑같이 생겼습니다. 같은 항목이 같은 자리에 있고 숫자만 다릅니다. 그리고 우리는 보통 둘 중 편한 쪽을 봅니다 — 이미 열려 있는 화면, 다른 지표와 한자리에 나오는 화면.

저희가 그 자리에서 석 달을 보낸 이야기를 적습니다. 틀린 것은 판단이 아니라 판단에 넣은 값이었습니다.

검색 성적을 보는 경로가 둘입니다

검색에서 우리 페이지가 몇 번 보였고 몇 번 눌렸는지는 검색엔진이 알려 줍니다. 저희는 그 숫자를 두 경로로 볼 수 있었습니다.

하나는 검색엔진이 직접 주는 화면입니다. 다른 하나는 저희가 쓰는 분석 도구에 그 데이터를 연동해 띄우는 화면입니다. 연동판은 편합니다. 방문자 수·체류 시간·유입 경로를 보다가 같은 화면에서 검색어까지 볼 수 있습니다.

저희는 석 달 동안 연동판을 봤습니다.

그 화면에서 검색어 노출은 전부 1~2회였습니다

그래서 저희가 내린 결론은 이랬습니다. 검색으로는 사람이 안 온다.

그러면 다음 할 일이 정해집니다. 검색에서 눈에 띄게 만들어야 하니 글 제목을 고객이 쓰는 말로 바꾸자. 대상은 블로그 84편. 꽤 큰 작업이고, 저희는 그 계획을 세워 두고 있었습니다.

그러다 검색엔진 화면을 직접 열었습니다. 같은 기간, 같은 검색어였습니다.

· 검색어: manufacturing os · 연동판: 표시 안 됨 · 원본: 22

· 검색어: 고급 계획 및 스케줄링 · 연동판: 표시 안 됨 · 원본: 19

· 검색어: teamcenter lot effectivity · 연동판: 표시 안 됨 · 원본: 17

3개월 총계는 노출 1,956회에 클릭 94회였습니다.

노출은 이미 받고 있었습니다. 못 받고 있던 것은 클릭이었습니다. 이 둘은 완전히 다른 문제이고, 고치는 방법도 다릅니다.

고칠 자리가 처음부터 달랐습니다

원본을 페이지별로 펴 보니 노출이 어디에 있는지가 바로 나왔습니다. 블로그가 아니라 제품 솔루션 페이지였습니다.

그중 한 페이지는 검색 결과 1페이지에 있으면서 3개월 클릭이 0이었습니다. 보이는데 아무도 안 눌렀다는 뜻입니다. 제목을 보니 이유가 있었습니다. 약어 (사전적 풀이) | 회사명 형태라, 검색한 사람이 그 줄을 읽고 들어올 이유가 없었습니다.

블로그 84편의 제목을 고쳤다면 어떻게 됐을까요. 노출이 잡히는 글이 84편 중 10편이니, 큰 작업을 하고 거의 아무것도 안 바뀌었을 것입니다.

파고들자 더 큰 것이 나왔습니다

같은 방식으로 문서 사이트를 열어 봤습니다. 페이지가 3,760개인데 검색엔진에 등록된 것은 2개였습니다.

이것은 마케팅 문제가 아니었습니다. 배포 과정에서 페이지가 검색엔진에 보이지 않는 상태로 나가고 있었습니다. 글을 잘 쓰고 제목을 고치는 일과는 층이 다른 결함이고, 연동판만 봤으면 영원히 안 보였을 자리입니다.

고친 방법

- 판정 경로를 고정했습니다. 검색어와 노출은 검색엔진 화면에서 직접 봅니다. 분석 도구는 사이트 안에서 일어난 일을 보는 데 사용합니다. 편한 화면과 맞는 화면을 갈라 두었습니다.

- 문서에 출처를 한 줄 적기로 했습니다. 진단 문서 머리에 이 수치는 어느 화면에서 왔는가를 적습니다. 나중에 그 문서를 근거로 쓰는 사람이 사본인지 원본인지 알 수 있어야 합니다.

- 작업 계획은 원본을 본 뒤에 세웁니다. 이번 계획은 착수 전에 뒤집혔지만, 이미 손을 댄 뒤였다면 84편을 고치고 나서 알았을 것입니다.

이 사건에서 남는 것

- 표본은 틀린 값을 주지 않습니다. 적은 값을 줍니다. 그래서 데이터가 이상하다는 신호가 안 옵니다. 그냥 조용히 작은 숫자가 나오고, 우리는 그 숫자에 맞는 결론을 냅니다.

- 가장 비싼 실수는 잘못 고치는 것이 아니라 엉뚱한 데를 고치는 것입니다. 블로그 84편 작업은 그 자체로는 흠이 없습니다. 다만 아무 일도 일으키지 않았을 것입니다.

- 편한 화면이 맞는 화면인 경우는 드뭅니다. 한자리에서 다 보이는 화면은 대체로 어딘가를 줄여서 그렇게 만든 것입니다.

그리고 하나가 남습니다. 이번에는 고칠 자리를 제대로 찾았습니다. 그럼 고치기만 하면 되는 것입니까.

수정 78건을 반영하면서 새 결함 5건을 만든 이야기를 다음 회차에 적겠습니다.

(이 글은 웨이스 기술블로그에 먼저 실린 글입니다. 원문: https://blog.vexplor.com/post/we-read-a-sample-as-the-source)