A/B 테스트 계산기

Freshmarketer는 AB 테스트에서 가장 유용한 도구인 AB 테스트 계산기를 제공하며, 세 가지 옵션이 있습니다.

• 샘플 크기 계산기
• 기간 계산기
• 유의미성 계산기

샘플 크기 계산기는 A/B 테스트 실험의 결론을 도출하기 위해 필요한 방문자 수를 계산하는 데 도움을 줍니다.

기간 계산기는 지정된 샘플 크기에 대해 테스트가 실행되어야 하는 최대 기간(일)을 계산하여 적절한 결정을 내리는 데 도움을 줍니다.

유의미성 계산기는 테스트 결과가 통계적으로 유의미한지 여부를 알 수 있도록 도와줍니다.

위에서 언급한 각 계산기는 적절한 결론을 도출하는 데 도움이 되는 매개변수를 계산하는 데 도움을 줍니다.

실험의 결정을 내리기 전에 샘플 크기를 아는 것이 중요합니다. 이는 주어진 샘플 크기에 대해 테스트의 전환율이 낮을 때, 결론을 정확하게 설명할 실제 증거가 없다는 것을 의미하기 때문입니다. 즉, 기준선과 변형 간의 차이의 실제 원인을 명확히 증명할 수 없습니다. 이는 주관적이며 다른 여러 이유로 인할 수 있습니다.

이 목적을 위해 Freshmarketer는 전환을 달성하기 위해 테스트에 필요한 방문자 수를 결정할 수 있는 샘플 크기 계산기를 제공합니다.

Freshmarketer의 샘플 크기 계산기는 세 가지 입력값을 받습니다.

• 기준선 전환율
• 최소 검출 효과(MDE)
• 통계적 유의미성

이 입력값들을 통해 Freshmarketer는 원하는 통계적 목표를 달성하기 위해 필요한 변형당 샘플 크기를 계산합니다. Freshmarketer는 복잡한 알고리즘을 사용하여 샘플 크기 숫자를 도출합니다.

변형당 샘플 크기를 계산하는 데 필요한 입력값에 대해 자세히 알아봅시다.

기준선 전환율

이것은 샘플 크기를 결정하는 데 사용되는 세 가지 매개변수 중 하나로, 테스트 페이지의 기존 전환율을 정의합니다. 이는 다음 공식으로 계산됩니다,

기준선 전환율은 백분율로 표현됩니다. 이는 주로 Google Analytics와 같은 분석 플랫폼의 데이터를 사용하여 측정됩니다.

최소 검출 효과(MDE)

최소 검출 효과(MDE)는 실험에서 감지하려는 기준선 대비 상대적 최소 증가를 나타냅니다. 이는 실험의 우선순위를 정하는 데 주로 유용합니다. 여기서는 큰 변화를 감지하려면 적은 트래픽이 필요하고, 작은 변화를 감지하려면 더 많은 트래픽이 필요합니다. MDE는 테스트가 얼마나 오래 실행되어야 하는지(테스트의 기간)를 측정하는 표준 매개변수로도 사용될 수 있습니다.

통계적 유의성

통계적 유의성은 기준(원본)과 주어진 변형 간의 전환율이 무작위 행동이나 선택에 기반하지 않고 유의미할 확률을 의미합니다. 실험 결과가 주어진 통계적 유의 수준에서 우연에 의해 발생하지 않았을 가능성이 있을 때 통계적으로 유의미하다고 간주됩니다.

실험의 통계적 유의 수준은 위험 허용도와 신뢰 수준을 나타냅니다. 예를 들어, 유의 수준이 95%인 AB 테스트 실험은 승자가 결정되면 관찰된 결과가 실제이며 무작위로 인한 오류가 아님을 95% 확신할 수 있음을 의미합니다. 결국, 계산이 잘못될 가능성이 5% 있다는 것도 의미합니다.

Freshmarketer에서는 AB 테스트 계산기가 기본값으로 95%의 표준 통계적 유의 수준을 가지고 있습니다. 이상적인 범위는 80에서 99 사이입니다.

MDE, 기준 전환율 및 변형당 샘플 크기 간의 관계

 

실험의 변형당 샘플 크기를 계산하려면 현재 기준 전환율과 최소 검출 효과(MDE)가 필요합니다.

실험이 MDE와 같거나 높은 수준에서 실제 개선을 측정하면 주어진 샘플 크기 내에서 유의성이 충족됩니다. 간단히 말해, 예상보다 적은 방문자 수로도 유의미한 결과가 나타날 것입니다. 이 경우, 예상보다 빠르게 승리하는 변형을 결정할 수 있습니다. 그러나 실험이 MDE보다 낮은 수준에서 개선을 감지하면 주어진 샘플 크기 내에서 통계적 유의성을 달성할 수 없으며, 이는 테스트가 승리하는 변형을 결론짓기 위해 계속 진행되어야 함을 의미합니다.

예시

예를 들어, 온라인 패션 스토어 소유자가 사이트의 제품 페이지에 대한 실험을 진행한다고 가정해 봅시다. 기준 전환율은 20%이며 변형이 기준을 최소 10% 이상 개선할 것이라고 결정하고 변형 전환율이 22% 이상이 될 것입니다. 따라서 이 시나리오의 MDE는 10%가 되어야 합니다.

Freshmarketer의 샘플 크기 계산기를 사용하여, 그는 변형당 20,800의 샘플 크기를 결정합니다. 실험에는 두 가지 변형이 있으므로, 표준 95% 통계적 유의성에서 10% 이상의 변화를 감지하기 위해 약 41,600명의 방문자가 필요합니다. 이제 실험이 시작되고 데이터가 들어오기 시작합니다. 두 가지 가능한 경우가 있습니다.

• 변형의 실제 전환율이 22% 이상입니다. 이 비율이 지속되면 41,600명의 방문자 내에서 유의성이 달성될 수 있음을 추론할 수 있습니다.
• 전환율이 22% 이하로 떨어지면 통계적 유의성이 41,600명의 방문자 내에서 아마도 달성되지 않을 것임을 의미합니다. 이는 또한 개선이 원래 예측된 10%보다 낮음을 의미합니다.

이제 테스트를 계속 진행할지 아니면 이 결과에 만족하고 다음 옵션 세트로 진행할지를 결정할 시점입니다.

샘플 크기 계산기에서 기준 전환율과 최소 검출 효과(MDE)가 샘플 크기에 어떻게 직접적으로 영향을 미치는지 관찰하세요. 기준이 작을수록 동일한 상대적 변화를 감지하기 위해 더 큰 샘플 크기가 필요합니다. 아래 표는 고정된 MDE와 통계적 유의성을 가진 다양한 기준 전환율에 따른 변형당 샘플 크기의 차이를 설명합니다.

이제 샘플 크기가 계산되었으므로 실행하고자 하는 테스트의 기간을 결정할 수 있습니다. 이를 위해 Freshmarketer는 기간 계산기를 제공합니다.

Freshmarketer의 기간 계산기는 6가지 입력값을 받아 이 숫자들을 신중하게 평가하여 원하는 결과를 달성하기 위한 대략적인 테스트 기간을 제공합니다.

이 계산기가 받는 6가지 입력값 중 3가지는 변형당 샘플 크기 계산과 관련이 있습니다. 따라서 다음 4가지 매개변수를 통해 테스트의 기간을 계산할 수 있습니다.

• 변형당 샘플 크기,
• 변형 수,
• 일일 평균 방문자 수
• 테스트에 포함된 방문자 비율

이전에 언급된 예에서 '변형당 샘플 크기'가 20800인 경우, 테스트 기간을 계산하기 위해 나머지 3가지 입력값을 제공해야 합니다. 가정해 봅시다.

• 변형 수 = 2
• 일일 평균 방문자 수 = 200
• 테스트에 포함된 방문자 비율(%) = 100
• 변형당 샘플 크기 = 20,800
  ○ 기준 전환율(%) = 20
  ○ 최소 검출 효과(%) = 10
  ○ 통계적 유의성(%) = 95

여기서 Freshmarketer는 이 숫자들을 평가하고 원하는 결과를 달성하기 위해 필요한 일수를 104일로 제안합니다.

기간 계산기의 매개변수 간의 관계

기간 계산기에서 각 매개변수는 기간을 계산하는 데 중요합니다. 먼저, “변형 수”는 중요한 역할을 합니다. 더 많은 변형을 포함하는 테스트의 결론에 도달하기 위해서는 더 적은 변형을 포함하는 테스트보다 더 많은 시간이 필요합니다. 이는 아래 표에서 설명됩니다.

표에서 볼 수 있듯이 변형 수가 증가함에 따라 필요한 일수도 증가합니다. 이는 많은 변형이 있을 경우, 사이트를 방문하는 방문자에 대해 모든 변형을 테스트해야 하기 때문입니다. 변형 수가 많은 테스트는 승리 변형을 결정하는 데 더 많은 시간이 걸립니다.

이제 “일일 평균 방문자 수”를 증가시키면 다른 매개변수를 일정하게 유지하면서 테스트 기간이 줄어듭니다. 예를 들어, 아래 표를 보십시오.

이는 사이트의 트래픽이 높을 때 변형을 짧은 간격으로 빠르게 테스트할 수 있기 때문입니다. 따라서 방문자 트래픽이 높은 테스트의 경우 테스트 기간이 짧아집니다.

“테스트에 포함할 방문자 비율” 매개변수의 경우, 더 많은 방문자가 포함되면 테스트 기간이 짧아집니다. 이는 아래 표를 통해 설명할 수 있습니다.

방문자 트래픽이 제한될 때, 변형을 더 철저히 테스트해야 승리 변형을 선언할 수 있기 때문에 테스트 기간이 주로 증가합니다.

유의미성 계산기

Freshmarketer는 변형의 결과가 다른 변형과 비교하여 통계적으로 유의미한지 여부를 결정하는 계산기를 제공합니다. 이 유의미성 계산기는 두 가지 입력을 제공하여 두 변형을 비교할 수 있게 합니다.

• 방문자 수 - A/B 테스트 실험에 포함된 고유 방문자의 총 수.
• 전환 수 - A/B 테스트에서 달성된 총 전환 수.

이 두 입력(각 변형별로)과 통계적 유의미성 값을 통해, Freshmarketer는 사용 중인 알고리즘을 통해 두 변형 중 통계적으로 유의미한 변형을 평가하고 선언합니다. Freshmarketer가 입력에서 결론을 도출할 수 없는 경우, 결과를 “결과가 결론적이지 않습니다. 현재 승리 또는 패배 변형이 없습니다.”로 표시합니다.

이 계산기는 두 가지 변형이 있을 때 통계적으로 유의미한 승리 변형을 선택하는 데 특히 유용합니다.

---