광고 효과를 가르는 실험의 설계

실험 질문과 변경 항목의 범위

질문은 어떤 광고가 좋은지보다 무엇을 변경했을 때 어떤 반응이 달라지는지로 좁힙니다. 변경 항목에 상품 설명과 구매 혜택, 연결 페이지가 함께 들어가면 결과를 각각의 변경에 연결하기 어렵습니다. 담당자는 이번에 시험할 항목을 선택하고 나머지 변경 요청은 별도 작업으로 관리합니다.

표의 질문을 모두 한꺼번에 실행할 필요는 없습니다. 담당자는 현재 의사결정에 필요한 질문을 선택하고, 대행사는 그 질문에 맞는 비교 대상의 이름을 계획서에 기재합니다. 유지할 조건을 실제로 유지하기 어렵다면 시작 전에 그 조건과 이유를 따로 표시합니다.

소재 등록과 노출 배분의 차이

네이버 파워링크 도움말은 기본 설정인 성과 기반 노출에서 소재별 노출과 클릭 자료를 바탕으로 노출 비중을 자동 조절한다고 설명합니다. 이 설명은 광고그룹에 노출 가능한 소재가 여러 개 있는 경우에 적용됩니다. 따라서 소재를 함께 등록했다는 사실만으로 각 소재가 같은 노출 기회를 얻었다고 판단할 수 없습니다.

동일 비중 노출은 광고그룹 안에서 같은 연결 주소를 사용하는 소재에 적용되는 방식입니다. 네이버는 소재마다 연결 주소가 다르면 동일한 노출 비중이 보장되지 않을 수 있다고 안내합니다. 연결 페이지 자체를 변경하는 실험이라면 담당자는 이 조건을 계획서에 명시하고, 대행사에 실제 배분 상태를 설명할 자료를 요청합니다.

유지 조건에는 담당자가 관리하는 조건과 매체가 배분하는 조건을 따로 기재합니다. 문안이나 판매 조건을 유지해도 소재의 노출 배분까지 고정됐다는 뜻은 아닙니다. 다른 광고 매체를 사용한다면 해당 매체의 노출 방식을 별도로 조사하고, 파워링크와 같은 기능이 있다고 전제하지 않습니다.

계획서 작성과 설정 자료 준비

실험 계획서는 질문, 설정, 조회 자료의 순서로 작성합니다. 사내 담당자가 목적과 유지 조건을 정하고, 대행사는 계정에서 실행할 수 있는 설정과 자료 제공 범위를 답하도록 업무를 나눕니다. 소재 시안만 승인하고 시작하지 않도록 설정 자료도 승인 대상에 포함합니다.

1. 사내 담당자는 실험 질문과 변경 항목을 기재하고 비교할 소재의 최종 문안, 연결 페이지, 실제 판매 조건을 준비합니다.
2. 대행사는 유지 조건을 계정 설정과 대조하고 소재 노출 방식, 소재별 연결 주소, 노출 가능한 소재 목록을 전달합니다.
3. 양쪽 담당자는 판단 지표와 조회 항목을 정하고 자료를 전달할 담당자, 파일 형식, 해석에서 제외할 내용을 계획서에 기록합니다.

네이버 파워링크의 소재 노출 방식은 광고그룹을 선택한 뒤 ‘선택한 광고그룹 관리’의 ‘소재 노출 방식 변경’에서 선택할 수 있습니다. 대행사에는 선택할 방식의 이름뿐 아니라 해당 광고그룹과 소재 목록을 함께 요청합니다. 설정 화면과 계획서가 다른 경우에는 시작 전에 어느 내용을 적용할지 합의합니다.

판단 지표와 조회 자료의 연결

판단 지표는 실험 질문에 답할 자료를 기준으로 선택합니다. 클릭 반응을 묻는 실험과 구매완료를 묻는 실험은 필요한 조회 항목이 다릅니다. 대행사는 선택한 지표를 어느 화면이나 보고서에서 소재별로 전달할 수 있는지 먼저 답해야 합니다.

네이버는 소재 목록에서 노출수, 클릭수, 클릭률 등을 조회하고 ‘열 맞춤 설정’으로 항목을 추가하거나 제외할 수 있다고 안내합니다. 다차원 보고서의 소재 보고서는 성과가 발생한 소재의 노출·클릭·전환 지표를 다룹니다. 담당자는 필요한 항목이 실제 조회되는지 대행사에 요청하고, 전환 유형을 해석할 때는 전환 보고서의 세부 자료도 준비하도록 요구합니다.

조회 자료에는 소재 이름과 조회 기간, 선택한 항목을 함께 남깁니다. 화면별로 다른 기간을 선택한 자료를 하나의 비교표에 합치지 않도록 대행사가 추출 조건을 기재하게 합니다. 자료를 받는 날짜와 광고 성과가 포함된 마지막 날짜도 별도로 기록합니다.

같은 설정과 같은 노출량의 구별

동일 비중 노출을 선택했다는 기록과 소재별 노출수가 같다는 기록은 서로 다른 자료입니다. 네이버는 성과 측정을 위해 일시적으로 노출 횟수가 늘면서 다른 소재보다 노출수가 많아지는 현상이 발생할 수 있다고 안내합니다. 소재별 노출수의 순서가 달라졌다면 대행사는 선택한 방식과 실제 수치를 각각 제시해야 합니다.

자동 배분 상태에서 클릭수가 많은 소재를 곧바로 우수한 변경안으로 채택하는 판단도 피해야 합니다. 클릭수에는 클릭 반응뿐 아니라 해당 소재가 받은 노출 기회가 함께 반영됩니다. 담당자는 클릭수와 노출수, 클릭률을 같은 자료에서 읽고 이번 설계가 어떤 반응까지 설명할 수 있는지 기재합니다.

성과 기반 노출은 실험의 결론을 대신 내려주는 기능으로 취급하지 않습니다. 네이버는 이 방식이 일정 수준의 성과를 보장하지 않는다고 명시합니다. 대행사가 자동 배분 결과를 근거로 변경 항목의 효과를 주장한다면, 그 주장에 필요한 비교 조건이 이번 계획서에서 충족됐는지 설명하도록 요청합니다.

관찰 내용과 결론의 기록 범위

시작 전에 합의할 해석 범위에는 무엇을 관찰하고 무엇은 결론 내리지 않을지 함께 포함합니다. 소재별 클릭 반응을 조회하기로 했다면 구매 행동의 개선 여부는 별도의 자료가 필요한 물음으로 표시합니다. 전환을 판단 대상으로 정했다면 전환 유형과 소재를 연결할 자료가 없는 상태에서 총합만으로 답하지 않도록 요청합니다.

보고서 양식에는 관찰한 차이, 유지되지 않은 조건, 아직 답하지 못한 질문을 별도 항목으로 만듭니다. 대행사는 자료가 없는 항목을 추정 문장으로 채우지 않고 미판단으로 기재합니다. 이 기록은 이번 실험의 결론을 어디까지 사용할 수 있는지 합의하는 자료로 활용합니다.

판매 조건이나 연결 페이지가 실험 중 변경될 가능성이 있다면 사내 담당자도 변경 통보 책임을 맡습니다. 광고 계정 밖의 수정은 대행사가 알지 못할 수 있으므로 상품 담당자와 사이트 담당자의 연락 경로를 계획서에 포함합니다. 변경이 발생하면 적용 대상과 내용을 기록해 결과 자료와 함께 전달합니다.

비교 대상의 버전 식별

소재 이름만으로 비교 대상을 식별하면 승인한 문안과 실제 노출한 문안을 혼동할 수 있습니다. 담당자는 계획서에 소재 이름, 최종 문안, 연결 페이지, 승인 상태를 함께 기재하고 대행사에는 계정의 소재 식별 정보를 대응시켜 달라고 요청합니다. 같은 이름으로 수정본을 전달할 때는 이전 문안을 삭제하지 않고 변경 내용을 기록합니다.

시작 직전 수정 요청이 들어오면 단순 오탈자 수정인지 실험 항목을 변경하는 요청인지 먼저 가립니다. 상품 설명이나 혜택의 의미가 달라지는 수정은 비교 대상의 새 버전으로 관리합니다. 보고서에는 실제 사용한 버전이 연결되도록 자료 양식을 정합니다.

이어서 읽을 주제

AI검색 기술 점검은 검색광고 실험과 별개로 사이트의 기술 상태를 조사하려는 담당자가 이어 읽을 주제입니다. 병원 검색광고 전환 추적은 해당 업종의 전환 측정 업무를 별도로 준비할 때 이어 읽을 주제입니다.