리포트 검증은 대행사를 의심하는 절차가 아닙니다. 다음 달에 무엇을 바꿀지 판단할 근거를 확보하는 일입니다. 검증할 수 있는 리포트는 판단에 쓸 수 있고, 검증할 수 없는 리포트는 아무리 두꺼워도 판단에 쓰기 어렵습니다.
대행사 리포트 검증은 보고된 수치를 원자료(가공하기 전의 원래 데이터)와 대조해, 같은 조건에서 다시 확인할 수 있는지 따져보는 절차입니다.
리포트를 왜 검증해야 하나요?
다음 행동을 정하기 위해서입니다. 검증을 거친 수치만 예산 배분과 채널 조정의 근거가 됩니다. 확인되지 않은 수치로 결정하면, 잘된 이유도 안 된 이유도 모르는 채 다음 달을 시작하게 됩니다.
어떤 원자료를 함께 요청해야 하나요?
요약 수치만으로는 확인이 안 되므로 다섯 가지를 함께 요청합니다. 발행물 전체 목록과 URL, 각 게시물의 발행일, 확인 시점이 명시된 지표, 유입 경로별 원자료, 그리고 미발행 또는 미달 항목입니다.
다섯 번째 항목이 특히 중요합니다. 미달 항목이 하나도 없는 보고서라면 성공 사례만 추려진 것은 아닌지 먼저 살펴보는 편이 좋습니다.
담당자가 직접 확인할 수 있는 것은 무엇인가요?
전문 지식 없이도 다섯 가지는 바로 확인할 수 있습니다. 아래 표의 순서대로 훑으면 됩니다.
| 확인 항목 | 확인 방법 | 살펴볼 신호 |
|---|---|---|
| 발행 | 리포트에 적힌 URL을 직접 연다 | 페이지 없음, 발행일 불일치 |
| 노출 | 주요 검색어를 직접 검색해 본다 | 해당 콘텐츠가 보이지 않음 |
| 내용 | 산출물 기준(분량·이미지 수·필수 정보) 대조 | 기준 미달 |
| 표시 | 대가 관계 표시가 본문 앞부분에 있는지 본다 | 표시 누락, 하단 구석 배치 |
| 유입 | 기업이 보유한 분석 도구에서 경로별 수치를 본다 | 리포트 수치와 차이 |
마지막 항목이 핵심입니다. 분석 도구 접근 권한은 기업이 보유하는 편이 좋습니다. 권한이 대행사에만 있으면 전달받은 수치를 대조할 방법이 없습니다.
어떤 신호를 눈여겨봐야 하나요?
확인 조건이 빠진 수치가 대표적입니다. 조건이 없으면 그 수치는 다시 만들어 볼 수 없습니다.
다음이 보이면 근거를 한 번 더 확인합니다.
① 확인 시점이 없는 수치
② 캡처만 있고 URL이 없는 발행 증빙
③ 검색어와 순위만 있고 확인 조건이 없음
④ 채널별 수치가 하나의 종합 점수로 합쳐짐
⑤ 미달 항목이 전혀 없음
⑥ 매월 지표가 일정하게 우상향
마지막 항목은 자연스럽지 않습니다. 실제 데이터에는 편차가 있습니다. 너무 매끄러운 그래프는 무엇을 빼고 그렸는지 물어볼 만합니다.
순위 보고는 왜 그대로 받아들이기 어려운가요?
검색 결과가 시점과 사용자 조건에 따라 달라지기 때문입니다. 특정 시점의 화면 하나를 장기 성과로 해석하기는 어렵습니다.
순위를 보고받는다면 검색어, 확인 날짜, 확인 기기와 로그인 여부가 함께 있어야 합니다. 이 조건이 없으면 재현할 수 없습니다. 직접 확인할 때도 같은 조건을 씁니다. 로그인 상태나 기기가 다르면 결과가 달라 논의가 어긋납니다.
가상의 병원 마케팅에서 매월 노출 순위가 올랐다는 리포트를 받았다고 가정해 보겠습니다. 기업이 같은 검색어를 직접 확인했더니 결과가 달랐습니다. 알고 보니 리포트는 특정 지역과 로그인 조건에서 측정된 것이었습니다. 조건이 적히지 않아 서로 다른 화면을 놓고 논의하고 있었던 셈입니다.
좋은 리포트는 무엇이 다른가요?
읽는 사람이 같은 결과를 다시 확인할 수 있게 쓰여 있다는 점이 다릅니다. 분량이나 디자인이 아니라 재현 가능성이 기준입니다.
다음 여섯 가지를 갖춘 리포트는 판단에 쓸 수 있습니다.
① 수행한 작업과 관찰 결과를 분리해 적음
② 확인 조건과 날짜가 명시됨
③ 미달 항목과 발견한 오류를 함께 적음
④ 채널별로 나눠 보여줌
⑤ 다음에 무엇을 바꿀지 제안이 있음
⑥ 통제 불가능한 항목을 성과로 주장하지 않음
일리애드 GEO/AIO 서비스도 같은 방식을 씁니다. 언급되지 않은 항목과 발견한 오류를 함께 기록하고, 확인 조건과 날짜를 지표 옆에 남깁니다.
검증을 요청하면 관계가 나빠지지 않나요?
요청하는 방식에 달려 있습니다. 잘못을 찾겠다는 태도로 접근하면 방어적인 답이 돌아오지만, 리포트 형식을 함께 정하자고 제안하면 공동 과제가 됩니다.
계약 초기에 보고 항목과 원자료 제공 범위를 정해두면 이후 요청이 자연스럽습니다. 계약 중간에 갑자기 요구하면 불신의 신호로 읽히기 쉽습니다.
흔한 오해 세 가지
첫째, 리포트가 길면 충실하다는 생각입니다. 원자료 없는 분량은 판단에 쓰이지 않습니다. 둘째, 검증은 불신의 표현이라는 생각입니다. 검증 가능한 형식은 양쪽 모두에 유리합니다. 셋째, 전문 지식이 있어야 검증할 수 있다는 생각입니다. URL 확인과 직접 검색만으로도 상당 부분 가능합니다.
오늘 바로 할 한 가지
최근 리포트에서 발행물 URL 세 개를 골라 열어보세요. 실제 게시되어 있는지, 발행일이 맞는지, 산출물 기준을 충족하는지 확인하는 데 5분이면 됩니다.
그다음 미팅에서 이번에 확인한 항목을 리포트 양식에 넣자고 제안해 보세요. 양식에 들어가면 다음 달부터는 같은 확인을 되풀이하지 않아도 됩니다.
