애매한 결과의 판단 기준
매체 시험 결과가 애매하면 성공이나 실패로 단정하지 말고, 전환 집계 방식의 차이·클릭과 전환 발생 시점의 차이·성과 갱신 가능성으로 설명되는 결과인지 확인하는 것이 좋습니다. 그 뒤에도 판단할 수 없는 부분을 남겨 후속 시험 여부를 정합니다. 담당자는 숫자가 서로 다른 문제와 시험 목표를 달성했는지 결정하기 어려운 문제를 따로 기록합니다.
숫자의 불일치는 보고서가 무엇을 어떻게 집계했는지 묻는 문제입니다. 목표 달성 여부는 그 기록으로 회사가 정한 고객 행동을 평가할 수 있는지 묻는 문제입니다. 집계 조건으로 차이를 설명했다고 해서 목표 달성까지 입증되는 것은 아닙니다. 반대로 숫자가 다르다는 이유만으로 시험 전체를 실패로 처리할 필요도 없습니다.
네이버 광고 도움말은 전환 집계 방식과 추적 범위에 따라 결과가 달라질 수 있고, 성과 지표도 갱신될 수 있다고 설명합니다. 네이버 시험을 맡긴 담당자는 다음 항목을 대행사에 요청해 불일치의 원인을 가립니다. 다른 매체의 결과까지 함께 판단한다면 해당 매체의 집계 설명을 별도로 확보합니다.
| 애매하게 보이는 결과 | 도움말이 밝힌 집계 조건 | 대행사에 확인할 항목 |
|---|---|---|
| 총 전환과 기여 전환이 다름 | 총 전환은 검색·디스플레이 광고를 각각 집계하며, 기여 전환은 두 광고를 함께 고려 | 보고서 지표명과 적용한 기여 전환 모델 |
| 클릭이 없는 날 전환 발생 | 추적 범위에 포함된 이전 클릭으로 전환 집계 가능 | 전환 발생일과 관련 클릭 시점 |
| 시험 종료 뒤 전환 추가 | 집행 종료 이후에도 설정한 추적 기간에 따라 전환 집계 가능 | 시험 당시 추적 기간과 종료 뒤 발생한 전환 |
| 내려받은 보고서의 성과가 달라짐 | 무효 클릭 제거, 외부 매체 제공 지연, 시스템 문제 등으로 성과 갱신 가능 | 자료를 내려받은 시점과 갱신된 항목 |
전환 집계 방식에 따른 차이
네이버 광고 도움말에 따르면 총 전환은 검색 광고와 디스플레이 광고를 따로 취급하고 마지막 클릭을 기준으로 집계합니다. 기여 전환은 두 광고를 함께 고려하며, 전환 추적 기간에 포함된 클릭을 대상으로 기여도를 계산합니다. 따라서 두 지표를 같은 의미의 전환 건수로 받아들여 어느 쪽이 맞는지 결정하면 판단이 어긋날 수 있습니다.
기여 전환에서도 마지막클릭 모델은 전환 직전에 클릭한 광고에 기여를 인정하고, 데이터기반 모델은 여러 광고의 기여도를 분석해 나눠 반영합니다. 담당자는 대행사가 보고서 제목을 간단히 표시했더라도 실제 지표명과 모델명을 받아야 합니다. 서로 다른 모델로 산출한 결과라면 우선 집계 방식의 차이로 기록하고, 시험에서 답하려던 물음에 어떤 지표를 사용할지 정합니다.
네이버 광고 도움말은 렌탈 상품 광고 전환이 기여전환 관련 지표에서 일부 집계되지 않을 수 있다고 안내합니다. 해당 상품을 광고했다면 대행사는 누락 가능성이 있는 항목을 보고서에 명시해야 합니다. 담당자는 전체 전환을 포괄하는 자료인지 알 수 없는 상태에서 매체의 성패를 확정하지 않습니다.
확인 순서와 준비 자료
담당자는 애매하다는 평가부터 전달하지 말고, 서로 맞지 않는 항목과 그 차이 때문에 결정하지 못하는 일을 지정합니다. 대행사에는 원본 보고서, 조회 대상과 기간, 지표명, 내려받은 시점, 시험 당시 설정 기록을 함께 전달합니다. 회사가 평가하려던 행동의 정의도 첨부해 대행사가 다른 전환 항목으로 답하지 않도록 합니다.
- 불일치하는 보고서 항목을 지정하고, 판단할 물음을 숫자의 정확성 또는 목표 달성 여부로 명시합니다.
- 대행사에 전환 집계 방식과 모델, 클릭 시점과 전환 발생 시점을 대조하도록 요청합니다.
- 성과 갱신 가능성을 조사하고, 기존 자료와 이후 자료에서 달라진 항목을 기록하도록 요청합니다.
- 집계 조건으로 설명된 결과와 미해결 항목을 따로 정리한 뒤, 후속 시험이 필요한 물음을 선택합니다.
네이버 광고 도움말은 전환 추적 기간을 전환에 관련된 광고 클릭을 찾는 범위로 설명합니다. 구매까지 걸리는 시간은 상품과 업종에 따라 달라질 수 있으므로, 담당자는 현재 설정값뿐 아니라 그 값을 정한 데이터나 경험을 대행사에 묻습니다. 보고서 조회 기간과 전환 추적 기간을 같은 항목으로 기재하지 않습니다.
남은 물음과 후속 판단 조건
네이버 광고 도움말은 성과 제공 지연이나 무효 클릭 제거 등의 사유로 기존에 내려받은 자료와 이후 성과가 달라질 수 있다고 안내합니다. 갱신 가능성이 남아 있는 자료에는 추출 시점과 잠정 상태를 표시하고, 대행사에 확정 성과를 다시 전달할 조건을 요청합니다. 도움말의 갱신 안내만으로 현재 발생한 차이의 원인을 확정해서는 안 됩니다.
| 확인 후 남은 물음 | 판단 보류 이유 | 후속 시험 전에 정할 조건 |
|---|---|---|
| 어떤 지표로 목표를 평가할 것인가 | 집계 차이는 설명됐지만 평가 지표가 정해지지 않음 | 평가할 행동과 사용할 지표를 명시 |
| 늦게 발생한 전환을 어떻게 해석할 것인가 | 클릭과 전환의 시간 관계를 충분히 설명하지 못함 | 관련 시점과 추적 범위를 함께 기록 |
| 갱신 뒤에도 같은 차이가 남는가 | 현재 자료가 이후 성과와 달라질 가능성이 있음 | 자료 재확보 조건과 차이 기록 담당자 지정 |
| 새 시험으로 무엇을 더 알 수 있는가 | 미해결 물음과 추가 집행의 관계가 불명확함 | 답하려는 물음과 판단에 사용할 자료 지정 |
후속 시험은 기존 시험을 그대로 반복하는 결정과 다릅니다. 담당자는 표에 남긴 물음마다 기존 자료로 해결할 수 있는지, 추가 광고 집행이 필요한지를 가립니다. 대행사가 설명 자료를 보완하면 해결되는 문제라면 자료 보완을 먼저 요청합니다. 새 시험이 필요하다면 무엇을 추가로 기록해야 답을 얻을 수 있는지 문서에 기재합니다.
집계 설명을 성과 평가로 오인하는 경우
자주 틀리는 판단은 숫자가 달라진 이유를 찾은 뒤 곧바로 매체가 효과적이었다고 결론 내리는 것입니다. 집계 설명은 보고서 차이가 발생한 이유에 답하지만, 광고가 회사의 목표에 기여했는지는 별도의 판단입니다. 담당자는 설명이 끝난 항목에도 목표 평가에 사용할 수 있는 자료인지 표시합니다.
클릭이 없는 날 전환이 기록됐다는 이유로 해당 날짜의 광고 반응이 좋았다고 평가하는 것도 피해야 합니다. 네이버 광고 도움말에 따르면 무효 클릭으로 판정돼 클릭수에 포함되지 않은 클릭에서도 전환이 집계될 수 있습니다. 대행사는 현재 클릭수만으로 전환의 발생 경위를 설명하지 말고, 해당 결과에 적용되는 집계 사유를 제시해야 합니다.
시험 종료 뒤 추가된 전환을 처음 결과에 무조건 합산해 결론을 수정하는 방식도 적절하지 않습니다. 담당자는 추가된 기록이 앞에서 정한 기준에 해당하는지 판단하고, 처음 보고서와 달라진 이유를 함께 남깁니다. 집계 조건 때문에 기록 시점이 달라졌다는 설명과 시험 목표에 포함할 결과라는 판단은 각각 근거를 기재합니다.
설명된 결과와 미해결 항목의 기록
판단 기록에는 대행사의 답변을 옮기는 것에 그치지 않고, 그 답변으로 해결된 물음의 범위를 기재합니다. 담당자는 항목별로 집계 조건으로 설명됨, 자료 부족으로 보류, 후속 시험 필요 중 어느 상태인지 표시합니다. 하나의 보고서 안에서도 항목마다 상태가 다를 수 있으므로 전체에 같은 평가 문구를 적용하지 않습니다.
대행사가 여러 가능성을 제시했지만 어느 사유가 실제로 적용됐는지 밝히지 못했다면 원인이 해결된 것으로 처리하지 않습니다. 담당자는 가능한 설명과 입증된 설명을 따로 기록하고, 남은 자료를 누가 확보할지 지정합니다. 기존 자료로 해소할 수 없는 물음만 후속 시험 후보로 남깁니다.
불리한 결과만 재시험하는 오류
후속 시험 여부를 결정할 때는 회사가 기대한 결론과 다르다는 이유만으로 재시험을 선택하지 않습니다. 같은 미해결 조건이 유리한 결과에도 적용된다면 두 결과에 동일한 보류 기준을 사용합니다. 담당자는 추가 시험 요청서에 기대하는 결과 대신 아직 답하지 못한 물음을 기재합니다.
대행사가 반복 시험을 권하면 새로운 자료를 얻을 수 있는 이유를 요청합니다. 기록할 항목이나 해석할 조건이 달라지지 않는다면 같은 애매함이 다시 남을 수 있습니다. 재시험 승인자는 그 물음이 다음 매체 구성 결정에 실제로 필요한지 판단하고, 답을 얻어도 결정이 달라지지 않는 항목은 별도 조사 대상으로 정리합니다.
자주 묻는 질문
대행사 두 곳의 해석이 다르면 누구의 의견을 따라야 합니까?
담당자는 업체의 자신감이나 설명의 길이보다 각 해석이 어떤 기록을 근거로 하는지 판단합니다. 두 업체에 같은 원본 자료와 질문을 전달하고, 적용한 집계 조건 및 설명하지 못한 항목을 각각 제출하도록 요청합니다. 서로 다른 자료를 사용했다면 해석을 선택하기 전에 자료 차이부터 해결합니다.
시험 전에 정한 목표가 불명확하면 결과를 평가해도 됩니까?
목표를 나중에 정해 유리한 결과만 선택하면 시험 당시의 의도를 평가하기 어렵습니다. 담당자는 당시 합의한 행동과 판단 조건을 문서에서 찾아 복원하고, 복원하지 못한 부분은 평가 한계로 명시합니다. 이번 자료에서 알 수 있는 사실과 다음 시험에서 답할 물음을 따로 정리합니다.
시험 도중 집계 설정을 변경했다면 자료를 어떻게 정리합니까?
대행사에 변경 시점, 변경 전후 설정, 변경 이유를 요청해 자료와 함께 보관합니다. 담당자는 변경 전후 기록이 같은 의미로 해석 가능한지 설명을 받아야 합니다. 연결해 평가할 근거가 부족하면 변경 전후를 별도 항목으로 보고하고 전체 결론의 적용 범위를 제한합니다.
원본 보고서 없이 요약 자료만 받았다면 무엇을 요청합니까?
요약표를 만든 원본 자료와 항목을 선택하거나 합친 기준을 요청합니다. 담당자는 요약 과정에서 제외된 전환 항목이나 날짜가 있는지 대행사에 묻고, 원본과 요약표를 연결할 수 있는 설명을 받습니다. 원본을 확보하지 못하면 재현할 수 없는 판단이라는 한계를 보고서에 명시합니다.
성과 판단을 보류하면 대행 업무 평가도 미뤄야 합니까?
매체 성과의 결론이 남아 있어도 약속한 자료 전달과 변경 기록 관리 등 대행 업무는 평가할 수 있습니다. 광고주는 계약이나 업무 합의에서 정한 항목을 기준으로 이행 여부를 판단합니다. 성과가 불확실하다는 사유를 자료 미제출이나 설명 누락까지 면제하는 근거로 사용하지 않습니다.