A/B 테스트 결과 해석 방법
보고서 페이지의 결과를 분석하고 조치를 취하려면 먼저 다음을 이해해야 합니다:
- 승리한 변형: 원본 페이지에 비해 통계적으로 유의미한 개선(%)을 보인 변형입니다.
- 패배한 변형: 원본 페이지에 비해 통계적으로 유의미한 성능 저하를 보인 변형입니다.
- 결론이 나지 않은 결과: 원본 페이지에 비해 통계적으로 유의미한 개선(%)이 없을 때, 결론이 나지 않은 결과가 발생합니다. 즉, 변형이 원본 페이지와 크게 다르지 않게 수행된 경우입니다.
기사 탐색
- 승리한 변형
- 패배한 변형
- 결론이 나지 않은 결과
승리한 변형
승리한 변형을 얻은 후에는, 원본 페이지에 승리한 요소를 구현하는 데 집중해야 합니다. 그러나 결과를 신중히 검토한 후에 수행해야 합니다. 특정 변형의 특정 요소가 목표와 관련하여 매우 잘 수행되었지만 전체 변형이 승리하지 못한 경우가 있을 수 있습니다. 이러한 경우, 해당 요소의 변경이 성능 향상을 초래했는지 확인해야 합니다. 그렇다면 이러한 변경을 승리한 변형에 포함하여 성능을 더욱 향상시켜야 합니다.
동일한 페이지에 대한 새로운 테스트를 계획하기 시작하십시오. 경험상 웹 페이지의 몇 가지 매개변수는 '쉬운 목표'로 간주될 수 있습니다. 이러한 항목에 대해 이미 실험하지 않았다면, 지금이 좋은 시기입니다.
- 행동 유도
- 이미지
- 콘텐츠 및 메시지
참고: 이미 주요 매개변수를 테스트한 페이지에서 상당한 수의 테스트를 수행한 경우, 다른 페이지에 집중하는 것이 가장 좋습니다. 이렇게 하면 페이지가 데이터를 수집할 충분한 시간을 주고, 영향이 적은 요소에서 더 많은 미세 조정이 필요한 다른 페이지로 초점을 이동할 수 있습니다.
패배한 변형
우리는 이것을 '패배한' 변형이라고 부르기 싫습니다. 대신, 이러한 변형을 '학습' 변형이라고 부릅시다. 학습 변형은 많은 학습 기회를 제공합니다. 학습 변형에서 다음을 할 수 있습니다:
- 미래의 부정적 결과를 피하십시오: 현재 제품 라인에 새로운 세그먼트를 도입하고 고객에게 테스트하려고 한다고 가정해 봅시다. 이 경우, 부정적 결과는 고객이 그러한 도입을 선호하지 않는다는 것을 나타냅니다. 따라서 이러한 도입에 대한 비용이 많이 드는 투자를 피할 수 있습니다.
- 고객에 대한 통찰력 얻기: 이는 여러 번의 테스트 후에 얻을 수 있는 것입니다. 여러 테스트에서 이러한 패배한 변형을 분석함으로써, 고객이 선호하지 않는 변경 사항 목록을 작성할 수 있습니다. 예를 들어, 여러 테스트를 통해 고객이 페이지의 큰 이미지를 좋아하지 않는다는 것을 알게 되면, 이미지를 피하는 다음 페이지 세트를 만들 수 있습니다. 실험에 학습 변형이 있는 경우, 완벽한 조합을 찾을 때까지 계속 테스트하십시오.
결론이 나지 않은 결과
실험 결과가 '결론이 나지 않은' 경우, 통계적으로 유의미한 결과를 얻기 위해 몇 가지 변경을 수행하십시오.
- 더 많은 요소 테스트: 때때로 변형이 완전히 다르지 않을 수 있습니다. 예를 들어, 원본과 변형 간의 차이가 버튼 색상과 같은 사소한 것이라면, 통계적으로 유의미한 결과를 초래하지 않을 수 있습니다. 따라서 페이지에서 원본과 변형 간의 차이가 명확하도록 추가 요소를 테스트하는 것이 좋습니다.
- 더 많은 목표 추적: '참여' 또는 '요소 클릭'과 같은 단일 목적을 추적하는 대신, 더 많은 목표를 추가하면 테스트에 더 깊이를 더하고 더 많은 데이터를 수집할 기회를 제공하여 통계적으로 유의미한 결과를 얻을 가능성을 높입니다.
실험에 패배한 변형이 있는 경우, 걱정하지 마십시오! 결과가 통계적으로 유의미했다는 것은 칭찬할 만합니다. 부정적 변형이 긍정적으로 변하는 것은 시간 문제일 뿐입니다. 완벽한 조합을 찾을 때까지 계속 테스트하십시오.
승리한 변형에 대해 분석하고 구현하며 테스트를 계속하여 포화점에 도달하십시오. 학습 변형에서 배우고 이를 개선하여 긍정적인 결과를 얻으십시오. 결론이 나지 않은 테스트를 확장하여 통계적으로 유의미한 결과를 달성하십시오.