실험

Amplitude 실험을 사용하여 가이드 및 설문조사에 대해 A/B 및 멀티 암드 밴딧 실험을 실행하여 변형을 비교하고 가장 성능이 좋은 버전을 출시할 수 있습니다. 실험을 실행하기 전에 가이드 및 설문조사 SDK를 설치하십시오.

가이드 및 설문조사에서 실험이 진행되는 방식

가이드 및 설문조사 실험은 가이드 또는 설문조사를 표시하는 것이 사용자 행동에 영향을 미치는지 여부를 테스트합니다.

• 통제: 통제 그룹의 사용자는 가이드 또는 설문조사를 볼 수 없습니다.
• 변형: 변형 그룹의 사용자는 귀하가 만든 가이드 또는 설문조사를 볼 수 있습니다.

예를 들어, 가이드가 기능 도입을 향상시켰는지 여부에 대해 50-50 테스트를 실행하려면 다음과 같이 하십시오.

• 통제 그룹을 50%로 설정하십시오(이러한 사용자는 가이드를 볼 수 없습니다).
• 변형 A를 50%로 설정하십시오(이러한 사용자는 가이드를 볼 수 있습니다).

이 분할을 통해 가이드나 설문조사의 영향을 해당 가이드를 보지 못하는 사용자의 기준선에 비해 측정할 수 있습니다.

실험 실행

가이드 또는 설문조사에 실험을 추가하려면 실험 추가를 선택합니다.

실험을 추가한 후에는 가이드 및 설문조사가 경험을 제어하며, 실험은 사용자가 선택한 실험 유형에 따라 사용자 타겟팅과 변형 분포를 제어합니다.

실험 유형을 선택하세요

가이드 및 설문조사는 두 가지 실험 유형을 제공합니다.

A/B 테스트

A/B 테스트를 선택하여 동일한 가이드의 두 가지 변형을 생성하세요. Amplitude는 수신한 데이터를 기반으로 승자를 결정합니다. 다른 Amplitude 실험과 동일한 방법으로 결과에 액세스할 수 있습니다.

멀티 암드 밴딧 테스트

보다 동적인 접근 방식을 위해 멀티 암드 밴딧 테스트를 선택하십시오. 시스템은 더 많은 트래픽을 실시간으로 더 높은 성능의 변형에 할당하므로 더 빠르게 최적화할 수 있습니다.

변형 구성

실험 유형을 선택하면 가이드 및 설문조사는 자동 생성된 키를 사용하여 컨트롤과 두 개의 변형을 추가합니다. 이 컨트롤은 영향을 측정하기 위한 기준선 역할을 하며, 여러 변형을 생성하여 다양한 버전의 콘텐츠나 디자인을 테스트할 수 있습니다.

변형의 이름을 바꾸려면 변형을 선택하고 추가 옵션을 클릭합니다. 이 메뉴에서 변형의 이름을 업데이트하거나, 복제하거나, 삭제할 수 있습니다.

실험 관리

실험 관리를 클릭하여 실험 편집기를 새 탭에서 엽니다. 실험은 가이드 또는 설문조사의 이름을 따르며 귀하가 추가한 전체 변형을 포함합니다.

실험 작업에 대한 자세한 내용은 Feature Experiment로 이동하십시오.

실험 종료

실험을 종료하려면 실험의 구성 페이지로 이동하여 실험 중지를 클릭한 후 다음 옵션 중 하나를 선택합니다.

• 실험 완료: 우승자를 선언하십시오. 변형 중 하나가 승리 변형인 경우 Amplitude는 패배한 변형을 보관하고 승리한 변형을 게시합니다. 대조군을 승리 변형으로 선택하면 실험은 초기 상태로 돌아가고 대조군 배포를 100%로 설정합니다. 이는 사용자가 가이드나 설문조사를 볼 수 없음을 의미합니다.
• 실험 계속 실행: 실험은 계속 진행되므로 더 많은 데이터를 수집할 수 있습니다.

인사이트

인사이트 탭은 사용자가 귀하의 가이드 또는 설문조사에 어떻게 참여하는지를 추적할 수 있는 대시보드입니다. 시간별 뷰 및 완료 추세를 모니터링하고 다양한 변형이 서로 상대적으로 어떻게 작동하는지 추적합니다.

시간 기반 분석

사전 정의된 기간 동안 가이드 및 설문조사 참여 추세를 추적:

• 매시간
• 매일
• 매주
• 월간
• 분기별

이러한 사전 설정을 사용하여 사용자가 가이드 또는 설문조사에 참여할 가능성이 가장 높은 시기와 신제품 릴리스 후 참여도가 변경되는지 여부를 확인할 수 있습니다.

날짜 범위 선택

시간 단위를 기준으로 미리 정의된 범위를 선택하거나 달력 아이콘을 클릭하여 사용자 고유의 범위를 정의할 수 있습니다. 다음 중에서 선택하십시오.

• 롤링 윈도우(Last # complete days and today)
• 날짜 이후
• 대상 구간 날짜

고급옵션 설정을 사용하여 다음을 수행할 수 있습니다.

• 이동 구간에 일자 차감 추가
• 오늘 제외
• 시간 범위 활성화

성능 요약

인사이트 탭의 상단 차트는 성능 요약입니다. Amplitude는 귀하의 가이드 또는 설문조사의 실적 방식을 추적하는 상위 수준의 지표를 표시합니다.