A/B 테스트 결과 해석하기

실험이 끝나고 Freshmarketer 보고서 페이지에서 결과를 받았습니다. 다음 단계는 무엇인가요?

보고서 페이지의 결과를 분석하고 조치를 취하기 위해 기본 질문에 답해야 합니다 - 먼저 무엇을 이해해야 하나요?

답은 꽤 간단합니다. 실험 결과는 다음과 같은 내용을 포함할 수 있습니다.

• 우승 변형: 원본 페이지에 비해 통계적으로 유의미한 긍정적인 개선(%)이 있는 변형입니다.
• 패배 변형: 원본 페이지에 비해 통계적으로 유의미한 부정적인 성과를 가진 변형입니다.
• 결과 불확실: 원본 페이지에 비해 통계적으로 유의미한 개선(%)이 없는 경우입니다. 즉, 변형이 원본 페이지와 크게 다르게 수행되지 않았습니다.

우승 변형 - 다음 단계는?

우승 변형을 확보한 후, 다음 단계는 원본 페이지에 우승 요소를 구현하는 데 집중해야 합니다. 그러나 이는 결과를 신중하게 연구한 후에 이루어져야 합니다. 특정 요소가 목표에 대해 매우 잘 수행되었지만 전체 변형이 승리하지 못한 경우가 있을 수 있습니다. 이러한 경우, 해당 요소의 변화가 성과 향상을 초래했는지 확인하는 것이 중요합니다. 그렇다면 이러한 변경 사항을 우승 변형에 포함시켜 성과를 더욱 향상시킬 수 있습니다.

현명한 사람이 한 번 말했습니다. “웹사이트 최적화는 천국으로 가는 계단과 같습니다. 한 번의 점프만으로 천국에 도달할 수는 없습니다!” 따라서 같은 페이지에서 새로운 테스트를 계획하기 시작하세요. 우리의 경험에 따르면, 웹페이지에서 ‘낙하 과일’로 간주할 수 있는 몇 가지 매개변수가 있습니다. 이러한 항목에 대해 실험하지 않았다면 지금이 좋은 시점입니다.

• 행동 유도(Call to Action)
• 이미지
• 내용 및 메시지

패배 변형 - 다음 단계는?

• 미래의 손실 방지: 현재 제품 라인에 새로운 세그먼트를 도입하려고 생각하고 이를 고객에게 테스트하고 싶다고 가정해 보세요. 이 경우 부정적인 결과는 고객이 그러한 도입을 선호하지 않음을 나타냅니다. 따라서 이러한 도입에 대한 비용이 많이 드는 투자를 피할 수 있습니다.
• 고객에 대한 통찰력: 이는 여러 테스트를 통해 수집할 수 있는 것입니다. 여러 테스트에서 이러한 패배 변형을 분석함으로써 고객이 선호하지 않는 변경 사항 목록을 작성할 수 있습니다. 예를 들어, 여러 테스트를 통해 고객이 페이지에서 큰 이미지를 선호하지 않는다는 것을 알게 된다면, 다음 페이지 세트를 만들 때 이미지를 피할 수 있습니다.
  실험에서 패배 변형이 있다면 걱정하지 마세요! 결과가 통계적으로 유의미하다는 것은 칭찬할 만한 일입니다. 부정적인 결과가 긍정적으로 바뀌는 것은 시간 문제일 뿐입니다. 완벽한 조합에 도달할 때까지 계속 테스트할 것을 권장합니다.

결과 불확실 - 다음 단계는?

• 더 많은 요소 테스트: 때때로 변형이 완전히 다르지 않을 수 있습니다. 예를 들어, 원본과 변형 간의 차이가 버튼 색상과 같은 사소한 것이라면, 통계적으로 유의미한 결과를 이끌어내지 못할 수 있습니다. 따라서 원본과 변형 간의 차이가 명확하게 드러나도록 페이지에서 추가 요소를 테스트하는 것이 좋습니다.
• 더 많은 목표 추적: 확장은 더 많은 목표를 추적함으로써도 달성할 수 있습니다. ‘참여’나 ‘요소 클릭’과 같은 하나의 목표만 추적하는 대신, 더 많은 목표를 추가하면 테스트에 깊이를 더하고 더 많은 데이터를 수집할 기회를 제공하여 통계적으로 유의미한 결과의 가능성을 높입니다.

실험에서 패배 변형이 있다면 걱정하지 마세요! 결과가 통계적으로 유의미하다는 것은 칭찬할 만한 일입니다. 부정적인 결과가 긍정적으로 바뀌는 것은 시간 문제일 뿐입니다. 완벽한 조합에 도달할 때까지 계속 테스트할 것을 권장합니다.

결론

우승 변형에 대해 분석하고 구현하며 테스트를 계속 진행하여 포화 지점에 도달하세요.
패배 변형에서 배우고 이를 개선하여 긍정적인 결과를 얻으세요.
결과 불확실 테스트를 확장하여 통계적으로 유의미한 결과를 달성하세요.

---

기술 지원