제목: AB 테스트 계산기 이미지: 0개 Freshmarketer는 AB 테스트에서 가장 유용한 도구인 AB 테스트 계산기를 제공합니다. 이 계산기는 세 가지 옵션을 제공합니다. 표본 크기 계산기 기간 계산기 유의미성 계산기 표본 크기 계산기는 A/B 테스트 실험의 결론에 도달하기 위해 필요한 방문자 수를 계산하는 데 도움을 줍니다. 기간 계산기는 지정된 표본 크기에 대해 테스트가 적절한 결정을 내릴 수 있도록 실행되어야 하는 최대 기간(일)을 계산하는 데 도움을 줍니다. 유의미성 계산기는 테스트 결과가 통계적으로 유의미한지 여부를 알 수 있도록 도와줍니다. 위에서 언급한 각 계산기는 적절한 결론에 도달하는 데 도움을 주는 매개변수를 계산하는 데 도움을 줍니다. 실험의 결론에 도달하기 전에 표본 크기를 아는 것이 중요합니다. 이는 주어진 표본 크기에 대해 테스트의 전환율이 낮을 때, 결론을 정확하게 설명할 실질적인 증거가 없음을 의미하기 때문입니다. 즉, 기준선과 변형 간의 차이의 실제 원인을 명확히 입증할 수 없습니다. 이는 주관적이며 다른 여러 이유로 인할 수 있습니다. 이 목적을 위해 Freshmarketer는 테스트에서 전환을 달성하기 위해 필요한 방문자 수를 결정할 수 있는 표본 크기 계산기를 제공합니다. Freshmarketer의 표본 크기 계산기는 세 가지 입력값을 받습니다. 기준선 전환율 최소 검출 효과(MDE) 통계적 유의미성 이 입력값을 통해 Freshmarketer는 원하는 통계적 목표를 달성하기 위해 필요한 변형당 표본 크기를 계산합니다. Freshmarketer는 복잡한 알고리즘을 사용하여 표본 크기 수치를 도출합니다. 변형당 표본 크기를 계산하는 데 필요한 입력값에 대해 자세히 알아봅시다. 기준선 전환율 이것은 표본 크기를 결정하는 데 사용되는 세 가지 매개변수 중 하나로, 테스트 페이지의 기존 전환율을 정의합니다. 이는 다음 공식으로 계산됩니다. 기준선 전환율 기준선 전환율은 백분율로 표시됩니다. 일반적으로 Google Analytics와 같은 분석 플랫폼의 데이터를 사용하여 측정됩니다. 최소 검출 효과(MDE) 최소 검출 효과(MDE)는 실험에서 감지하려는 기준선 대비 상대적 최소 증가를 나타냅니다. 이는 주로 실험의 우선순위를 정하는 데 유용합니다. 여기서 큰 변화를 감지하려면 적은 트래픽이 필요하고, 작은 변화를 감지하려면 더 많은 트래픽이 필요합니다. MDE는 테스트가 실행되어야 하는 기간(테스트의 지속 시간)을 측정하는 표준 매개변수로도 사용할 수 있습니다. 통계적 유의미성 통계적 유의미성은 기준선(원본)과 주어진 변형 간의 전환율이 무작위 행동이나 선택에 기반하지 않고 유의미할 확률을 나타냅니다. 실험 결과는 주어진 통계적 유의미성 수준에서 우연에 의해 발생하지 않았을 가능성이 있는 경우 통계적으로 유의미한 것으로 간주됩니다. 실험의 통계적 유의미성 수준은 위험 허용도와 신뢰 수준을 나타냅니다. 예를 들어, 유의미성 수준이 95%인 AB 테스트 실험은 승자가 결정되면 관찰된 결과가 실제이며 무작위성에 의해 생성된 오류가 아님을 95% 확신할 수 있음을 의미합니다. 결국, 계산이 잘못될 수 있는 5%의 가능성도 나타냅니다. Freshmarketer에서는 AB 테스트 계산기의 기본 통계적 유의미성 수준이 95%로 설정되어 있습니다. 이상적인 범위는 80에서 99 사이입니다. MDE, 기준선 전환율 및 변형당 표본 크기 간의 관계 실험의 변형당 표본 크기를 계산하려면 현재 기준선 전환율과 최소 검출 효과(MDE)가 필요합니다. 실험이 MDE와 같거나 그 이상 수준에서 실제 개선을 측정하면 주어진 표본 크기 내에서 유의미성이 충족됩니다. 간단히 말해, 예상보다 적은 방문자로도 유의미한 결과가 나타납니다. 이 경우, 예상보다 빠르게 승리하는 변형을 결정할 수 있습니다. 그러나 실험이 MDE보다 낮은 수준에서 개선을 감지하면 주어진 표본 크기 내에서 통계적 유의미성이 달성되지 않으며, 이는 테스트를 계속 실행하여 승리하는 변형을 결론지어야 함을 의미합니다. 예시 예를 들어, 온라인 패션 스토어 소유자가 사이트의 제품 페이지에 대한 실험을 실행한다고 가정해 보겠습니다. 기준선 전환율은 20%이며, 변형이 기준선을 최소 10% 이상 개선하여 변형 전환율이 22% 이상이 될 것이라고 결정합니다. 따라서 이 시나리오의 MDE는 10%여야 합니다. 표본 크기 계산기 Freshmarketer의 표본 크기 계산기를 사용하여, 그는 변형당 20,800의 표본 크기를 결정합니다. 실험에는 두 가지 변형이 있으므로 10% 이상의 변화를 감지하기 위해 약 41,600명의 방문자가 필요합니다. 이제 실험이 시작되고 데이터가 유입되기 시작합니다. 두 가지 가능한 경우가 있습니다. 변형의 실제 전환율이 22% 이상인 경우. 이 비율이 지속되면 41,600명의 방문자 내에서 유의미성이 달성될 수 있음을 추론할 수 있습니다. 전환율이 22% 이하로 떨어지면 41,600명의 방문자 내에서 통계적 유의미성이 달성되지 않을 가능성이 있음을 나타냅니다. 이는 또한 개선이 원래 예측한 10%보다 낮음을 의미합니다. 이제 그는 테스트를 계속 실행할지 아니면 이 상태로 결론을 내리고 테스트의 다음 옵션 세트를 진행할지 결정해야 할 때입니다. 표본 크기 계산기에서 기준선 전환율과 MDE가 표본 크기에 직접적으로 영향을 미치는 방식을 관찰하십시오. 기준선이 작을수록 동일한 상대적 변화를 감지하기 위해 더 큰 표본 크기가 필요합니다(MDE). 아래 표는 다른 기준선 전환율과 고정된 MDE 및 통계적 유의미성에 대한 변형당 표본 크기의 차이를 설명합니다. 기준선 전환율 대 변형당 표본 크기 이제 표본 크기가 계산되었으므로 실행할 테스트의 기간을 결정할 수 있습니다. 이를 위해 Freshmarketer는 기간 계산기를 제공합니다. Freshmarketer의 기간 계산기는 6개의 다른 입력값을 받아 이 숫자를 신중하게 평가하여 원하는 결과를 달성하기 위한 테스트의 대략적인 기간을 제공합니다. 이 계산기가 받는 6개의 입력값 중 3개의 입력값은 변형당 표본 크기 계산과 관련이 있습니다. 따라서 4개의 매개변수를 사용하여 테스트의 기간을 계산할 수 있습니다. 변형당 표본 크기, 변형 수, 일일 평균 방문자 수 테스트에 포함된 방문자 비율 이전에 언급한 예시에서 '변형당 표본 크기'가 20,800인 경우, 나머지 3개의 입력값을 제공하여 테스트 기간을 계산해야 합니다. 가정해 봅시다. 변형 수 = 2 일일 평균 방문자 수 = 200 테스트에 포함된 방문자 비율(%) = 100 변형당 표본 크기 = 20,800 ○ 기준선 전환율(%) = 20 ○ 최소 검출 효과(%) = 10 ○ 통계적 유의미성(%) = 95 기간 계산기 여기서 Freshmarketer는 이 숫자를 평가하여 원하는 결과를 달성하기 위해 필요한 일 수를 104일로 제안합니다. 기간 계산기의 매개변수 간의 관계 기간 계산기에서 각 매개변수는 기간을 계산하는 데 중요합니다. 먼저, "변형 수"는 중요한 역할을 합니다. 더 많은 변형을 포함하는 테스트의 결론에 도달하려면 더 적은 변형을 포함하는 테스트보다 더 오랜 시간이 필요합니다. 이는 아래 표에서 설명됩니다. 변형 수 대 필요한 일 수 표에서 볼 수 있듯이 변형 수가 증가함에 따라 필요한 일 수가 증가합니다. 이는 많은 변형이 있을 때, 사이트를 방문하는 방문자에 대해 모든 변형을 테스트해야 하기 때문입니다. 더 많은 변형을 포함하는 테스트는 승리하는 변형을 결정하는 데 더 많은 시간이 걸립니다. 이제 "일일 평균 방문자 수"를 증가시키면 다른 매개변수를 일정하게 유지하면서 테스트 기간이 줄어듭니다. 예를 들어, 아래 표를 보십시오. 일일 평균 방문자 수 대 필요한 일 수 이는 사이트의 트래픽이 높을 때, 변형을 짧은 시간 내에 빠르게 테스트할 수 있기 때문입니다. 따라서 방문자 트래픽이 높은 테스트의 경우 테스트 기간이 짧아집니다. "테스트에 포함할 방문자 비율?" 매개변수의 경우, 더 많은 방문자가 포함될수록 테스트 기간이 짧아집니다. 이는 아래 표를 통해 설명할 수 있습니다. 테스트에 포함할 방문자 비율 대 필요한 일 수 이 테스트 기간의 증가는 주로 방문자 트래픽이 제한될 때, 변형을 더 철저히 테스트하여 승리하는 변형을 선언할 수 있어야 하기 때문입니다. 유의미성 계산기 Freshmarketer는 변형의 결과가 다른 변형과 비교했을 때 통계적으로 유의미한지 여부를 결정하는 계산기를 제공합니다. 이 유의미성 계산기는 두 가지 입력값을 제공하여 두 변형을 비교할 수 있습니다. 방문자 수 - A/B 테스트 실험에 포함된 고유 방문자 수. 전환 수 - A/B 테스트에서 달성한 총 전환 수. 이 두 입력값(각 변형별로)과 통계적 유의미성 값을 통해 Freshmarketer는 알고리즘을 사용하여 두 변형 중 통계적으로 유의미한 변형을 평가하고 선언합니다. Freshmarketer가 입력값으로부터 결론을 도출할 수 없는 경우, 결과를 "결과가 결론적이지 않습니다. 현재 승리하거나 패배하는 변형이 없습니다."라고 표시합니다. 유의미성 계산기 이 계산기는 두 가지 변형이 있을 때, 그 중에서 통계적으로 유의미한 승리 변형을 선택하는 데 혼란스러울 때 특히 유용합니다. 유의미성 계산기 예시 기술 지원 찾고 있는 것이 보이지 않나요? 메일을 보내주세요 맨 위로 돌아가기