진행 중인 실험 변경하기

Freshmarketer에서는 테스트 중에 제한이 없어야 한다고 믿습니다. 그러나 실험이 진행되는 동안에는 오류가 없고 결과가 정확하도록 몇 가지 모범 사례를 권장합니다.

사고를 피하기 위해 실험이 진행되는 동안 변경할 수 없도록 설정했습니다. 실험을 일시 중지하고, 변경한 후 다시 실험을 재개해야 합니다. 변형을 생성하는 동안 철자 오류나 사소한 색상 변경과 같은 작은 오류가 발생한 경우 언제든지 실험을 일시 중지하고 수정할 수 있습니다. 이렇게 하면 실험이 진행되는 동안 우발적인 변경을 피할 수 있습니다.

그러나 실험이 진행되는 동안에는 다음과 같은 주요 변경을 권장하지 않습니다.

• 현재 변형에서 버튼, 이미지, 제목 등과 같은 영향력 있는 요소 변경
• 기존 변형 삭제
• 새 변형 추가
• 트래픽 할당 설정 변경
• URL 타겟팅 설정 변경
• 청중 타겟팅 설정 변경

실험이 진행되는 동안 주요 변경을 하지 말아야 하는 이유는 무엇인가요?

답은 간단하고 명백합니다 - 결과 데이터가 부정확할 수 있습니다. ‘일시 중지’와 ‘재개’ 사이에는 작은 데이터 갭이 있지만, 데이터는 변형 수준에서 집계되므로 ‘이전’과 ‘이후’ 데이터가 모두 포함됩니다.

집계된 결과는 전환율의 증가 또는 감소일 수 있습니다. 그러나 실험이 진행되는 동안 변경된 사항이 이러한 긍정적/부정적 영향을 초래했다고 단정할 수는 없습니다. 사실, 트래픽 할당이나 청중 타겟팅의 변경은 다른 사소한 변경보다 데이터에 훨씬 더 큰 영향을 미칠 것입니다.

따라서 변형에 주요 변경이 필요하다면, 모범 사례로 실험을 복제하고 필요한 변경을 한 후 새로운 실험으로 실행할 것을 권장합니다. 이렇게 하면 데이터가 완벽하고 정확하게 유지됩니다.

---