Freshmarketer에서는 테스트 중에 제한이 없어야 한다고 믿습니다. 그러나 실험이 진행되는 동안 오류가 없고 결과가 정확하도록 하기 위해 몇 가지 모범 사례를 권장합니다.
사고를 피하기 위해 실험이 진행되는 동안 변경이 불가능하도록 설정했습니다. 실험을 일시 중지하고 변경한 후 다시 시작해야 계속 진행할 수 있습니다. 변형을 생성하는 동안 철자 오류나 작은 색상 변경과 같은 사소한 오류를 발견하면 언제든지 실험을 일시 중지하고 수정할 수 있습니다. 이렇게 하면 실험이 진행되는 동안 우발적인 변경을 피할 수 있습니다.
그러나 실험이 진행되는 동안 다음과 같은 주요 변경은 권장하지 않습니다.
- 현재 변형의 버튼, 이미지, 제목 등과 같은 영향력 있는 요소 변경
- 기존 변형 삭제
- 새 변형 추가
- 트래픽 할당 설정 변경
- URL 타겟팅 설정 변경
- 대상 타겟팅 설정 변경
실험이 진행되는 동안 주요 변경을 하지 말아야 하는 이유는 무엇인가요?
답은 간단하고 명백합니다 - 결과 데이터가 부정확할 수 있습니다. '일시 중지'와 '재개' 사이에는 작은 데이터 간격이 있지만, 데이터는 변형 수준에서 통합되므로 '이전'과 '이후' 데이터가 집계되어 포함됩니다.
집계된 결과는 전환율의 증가 또는 감소일 수 있습니다. 그러나 실험이 진행되는 동안 이루어진 변경이 이러한 긍정적/부정적 영향을 초래했다고 단정할 수는 없습니다. 사실, 트래픽 할당이나 대상 타겟팅의 변경은 다른 사소한 변경보다 데이터에 훨씬 더 큰 영향을 미칠 것입니다.
따라서 변형에 주요 변경이 필요하다면, 모범 사례로 실험을 복제하고 필요한 변경을 한 후 새로 실행하는 것을 권장합니다. 이렇게 하면 데이터가 완벽하고 정확하게 유지됩니다.