제목: A/B 테스트 결과 해석하기
이제 실험이 끝나고 Freshmarketer 보고서 페이지에서 결과를 얻었습니다. 다음은 무엇을 해야 할까요?
보고서 페이지에서 결과를 분석하고 조치를 취하기 위해 기본적인 질문을 답해야 합니다 - 무엇을 먼저 이해해야 할까요?
답은 매우 간단합니다. 실험 결과는 다음 중 하나를 포함할 것입니다:
- 승리한 변형: 원본 페이지에 비해 통계적으로 유의미한 긍정적 개선(%)을 보인 변형.
- 패배한 변형(들): 원본 페이지에 비해 통계적으로 유의미한 부정적 성과를 보인 변형(들).
- 결론이 나지 않은 결과: 원본 페이지에 비해 통계적으로 유의미한 개선(%)이 없는 경우. 즉, 변형(들)이 원본 페이지와 크게 다르지 않게 수행된 경우.
승리한 변형 - 다음은?
승리한 변형을 얻은 후, 다음 단계는 원본 페이지에 승리한 요소를 구현하는 데 집중해야 합니다. 그러나 이는 결과를 신중하게 검토한 후에 이루어져야 합니다. 변형의 특정 요소가 목표와 관련하여 매우 잘 수행되었지만 전체 변형이 승리하지 않았을 수 있는 상황이 있을 수 있습니다. 이러한 경우, 해당 요소의 변경이 성과 향상을 초래했는지 확인하는 것이 중요합니다. 그렇다면 이러한 변경 사항도 승리한 변형에 포함시켜 성과를 더욱 개선할 수 있습니다.
현명한 사람은 "웹사이트 최적화는 천국으로 가는 계단과 같다. 한 번에 천국에 도달할 수 없다!"라고 말했습니다. 따라서 동일한 페이지에서 새로운 테스트를 계획하기 시작하십시오. 우리의 경험에 따르면, 웹페이지에서 '낮게 매달린 과일'로 간주될 수 있는 몇 가지 매개변수가 있습니다. 아직 이러한 항목을 실험하지 않았다면, 지금이 좋은 시기입니다.
- 행동 유도(Call to Action)
- 이미지
- 콘텐츠 및 메시지
참고: 주요 매개변수를 이미 테스트한 페이지에서 상당한 수의 테스트를 수행한 경우, 다른 페이지에 집중하는 것이 가장 좋습니다. 이는 페이지가 데이터를 수집할 충분한 시간을 제공하고, 이 페이지의 영향력이 적은 요소에서 더 많은 '미세 조정'이 필요한 다른 페이지로 초점을 이동할 수 있게 합니다.
패배한 변형(들) - 다음은?
우리는 이것을 '패배한' 변형이라고 부르는 것을 싫어합니다. 오히려 이러한 변형은 학습 변형이라고 불러야 합니다. 왜냐하면 학습할 수 있는 충분한 기회를 제공하기 때문입니다.
- 미래의 손실 방지: 현재 제품 라인에 새로운 세그먼트를 도입하고 고객에게 테스트하려고 했다고 가정해 봅시다. 이 경우 부정적인 결과는 고객이 이러한 도입을 선호하지 않는다는 것을 나타냅니다. 따라서 이러한 도입에 대한 비용이 많이 드는 투자를 피할 수 있습니다.
- 고객에 대한 통찰력: 이는 여러 테스트 후에 얻을 수 있는 것입니다. 여러 테스트에서 이러한 패배한 변형을 분석함으로써 고객이 선호하지 않는 변경 사항 목록을 작성할 수 있습니다. 예를 들어, 여러 테스트를 통해 고객이 페이지에서 큰 이미지를 선호하지 않는다는 것을 알게 되면, 다음 페이지 세트를 만들 때 이미지를 피할 수 있습니다. 실험에서 패배한 변형이 있다면 걱정하지 마세요! 결과가 통계적으로 유의미하다는 것은 칭찬할 만한 일입니다. 부정적인 결과가 긍정적으로 바뀌는 것은 시간 문제일 뿐입니다. 완벽한 조합에 도달할 때까지 계속 테스트할 것을 권장합니다.
결론이 나지 않은 결과 - 다음은?
실험 결과가 '결론이 나지 않았다'면, 통계적으로 유의미한 결과를 얻기 위해 몇 가지 변경을 권장합니다. 이를 달성하기 위해서는 두 가지 중요한 것이 필요합니다 - 현재 테스트 프레임의 확장과 희망. 테스트 프레임을 '확장'하는 여러 방법이 있습니다.
- 더 많은 요소 테스트: 때로는 변형이 완전히 다르지 않을 수 있습니다. 예를 들어, 원본과 변형 간의 차이가 버튼 색상과 같은 사소한 것이라면, 통계적으로 유의미한 결과를 초래하지 않을 수 있습니다. 따라서 페이지에서 추가 요소를 테스트하여 원본과 변형 간의 차이가 명확하게 나타나도록 하는 것이 좋습니다.
- 더 많은 목표 추적: 확장은 더 많은 목표를 추적함으로써도 달성할 수 있습니다. '참여' 또는 '요소 클릭'과 같은 하나의 목표만 추적하는 대신, 더 많은 목표를 추가하면 테스트에 더 깊이를 더하고 더 많은 데이터를 수집할 기회를 제공하여 통계적으로 유의미한 결과의 가능성을 높입니다.
실험에서 패배한 변형이 있다면 걱정하지 마세요! 결과가 통계적으로 유의미하다는 것은 칭찬할 만한 일입니다. 부정적인 결과가 긍정적으로 바뀌는 것은 시간 문제일 뿐입니다. 완벽한 조합에 도달할 때까지 계속 테스트할 것을 권장합니다.
결론
승리한 변형을 분석하고 구현하며 포화 상태에 도달할 때까지 계속 테스트하십시오. 패배한 변형에서 배우고 이를 개선하여 긍정적인 결과를 얻으십시오. 결론이 나지 않은 테스트를 확장하여 통계적으로 유의미한 결과를 달성하십시오.
기술 지원
찾고 있는 것이 보이지 않나요? 메일을 보내주세요.