실험 진행 중 변경 사항 적용하기

Freshmarketer에서는 테스트 중 제한이 없어야 한다고 믿습니다. 그러나 실험이 진행 중일 때 오류 없이 결과를 보장하기 위해 몇 가지 모범 사례를 권장합니다. 실수를 방지하기 위해 실험이 진행 중일 때는 변경할 수 없도록 설정했습니다. 실험을 일시 중지하고 변경 사항을 적용한 후 실험을 다시 시작해야 합니다. 변형을 생성하는 동안 철자 오류나 사소한 색상 변경과 같은 사소한 오류를 발견한 경우 언제든지 실험을 일시 중지하고 수정할 수 있습니다. 이렇게 하면 실험이 진행 중일 때 실수로 변경되는 것을 방지할 수 있습니다.

그러나 실험이 진행 중일 때 다음과 같은 주요 변경 사항을 적용하는 것은 권장하지 않습니다:

• 버튼, 이미지, 제목 등 현재 변형의 영향력 있는 요소 변경
• 기존 변형 삭제
• 새로운 변형 추가
• 트래픽 할당 설정 변경
• URL 타겟팅 설정 변경
• 오디언스 타겟팅 설정 변경

실험이 진행 중일 때 주요 변경 사항을 적용하지 말아야 하는 이유는 무엇입니까?

답은 간단하고 명확합니다 - 결과 데이터가 부정확할 수 있습니다. '일시 중지'와 '재개' 기간 사이에 데이터의 작은 간격이 있지만, 데이터는 변형 수준에서 통합되며 따라서 '이전'과 '이후' 데이터가 모두 집계됩니다.

집계된 결과는 전환율의 증가 또는 감소일 수 있습니다. 그러나 실험이 진행 중일 때 이루어진 변경이 이러한 긍정적/부정적 영향을 초래했다고 단정적으로 말할 수는 없습니다. 사실, 트래픽 할당이나 오디언스 타겟팅의 변경은 다른 사소한 변경보다 데이터에 훨씬 더 큰 영향을 미칠 것입니다.

따라서 변형에 주요 변경 사항이 필요하다면, 모범 사례로 실험을 복제하고 필요한 변경을 적용하여 새로운 실험으로 실행할 것을 권장합니다. 이렇게 하면 데이터가 완벽하고 정확하게 유지됩니다.