実験

Amplitude 実験を使用して、ガイドとサーベイに対してA/Bや多腕バンディット実験を実行することで、バリエーションを比較し、最もパフォーマンスの高いバージョンをリリースできます。実験を実行する前に、ガイドとサーベイ SDK をインストールしてください。

マネージャーまたは管理者の役割が必要です。

ガイドまたはサーベイで実験を実施するには、少なくともマネージャーの役割が必要です。役割がガイドとサーベイを使用できるユーザーにどのように影響するかについての詳細は、「役割ベースのアクセス制御」を参照してください。

ガイドとサーベイでの実験の仕組み

ガイドとサーベイの実験では、ガイドやサーベイを表示することがユーザーの行動に影響を与えるかどうかをテストしています。

コントロール: コントロールグループのユーザーには、ガイドやサーベイが表示されません。
バリアント: バリアントグループ内のユーザーには、あなたが作成したガイドやアンケートが表示されます。

たとえば、ガイドが機能の採用を向上させるかどうかを判断するために 50-50 テストを実行するには、次のようにします。

コントロールを 50% に設定します (これらのユーザーにはガイドが表示されません)。
バリアント A を 50% に設定します (これらのユーザーにはガイドが表示されます)。

この分割により、ガイドやアンケートがそれを見ていないユーザーのベースラインと比較してそのインパクトを測定できます。

実験を実行する

ガイドや調査に実験機能を追加するには、実験を追加を選択します。

実験を追加すると、ガイドとサーベイがその体験を制御し、実験は選択した実験タイプに基づいてユーザーターゲティングとバリアント分布を制御します。

実験タイプを選択してください

ガイドとサーベイには、2 つのタイプの実験があります。

A/B テスト

A/B テストを選択して、同じガイドの 2 つのバリエーションを作成します。 Amplitudeは受信したデータに基づいて勝者を決定します。その他 Amplitude 実験と同じ方法で結果にアクセスできます。

多腕バンディットテスト

よりダイナミックなアプローチを行うには、多腕バンディットテストを選択してください。システムはより多くのトラフィックをよりパフォーマンスの高いバリアントにリアルタイムで割り当てるため、より迅速に最適化できます。

バリアントを設定する

実験タイプを選択すると、ガイドとサーベイはコントロールと自動生成されたキーを持つ2つのバリアントを追加します。コントロールはインパクトを測定するためのベースラインとして機能し、複数のバリアントを作成して、さまざまなバージョンのコンテンツやデザインをテストできます。

バリアントの名前を変更するには、そのバリアントを選択して その他のオプション をクリックします。このメニューから、バリアント名を更新したり、複製したり、削除したりできます。

実験セットアップの完了

バリアントを追加することは、ガイドとサーベイにおける実験の最初の部分にすぎません。ユーザーがバリアントを本来あるべきように体験できるようにするには:

実験が実行されていることを確認してください。目標を定義し、ターゲット設定を確認して、実験を開始をクリックします。詳細については、「実験の管理」を参照してください。
特定のユーザーがバリアントを経験していない場合は、そのユーザーが実験の対象ユーザーの一部であることを確認してください。
ユーザーに1つのバリアントが表示された場合、そのバリアントを引き続き表示する必要があります。ユーザー > ユーザープロフィールに移動します。ユーザーを検索し、そのユーザーのプロフィールを開きます。 ガイドとアンケートのタブに移動して、ユーザーに表示されたエクスペリエンスを確認できます。

実験を管理する

実験の管理をクリックして、新しいタブで実験エディタを開きます。実験にはあなたのガイドやサーベイの名前が付けられ、あなたが追加した任意のバリアントが含まれます。

バリアントの更新

ガイドやサーベイを保存すると、バリアント名はガイドやサーベイと実験の間で同期されます。

実験の操作に関する詳細については、機能実験を参照してください。

エクスポージャーと割り当て

ガイドとサーベイの実験におけるエクスポージャーイベントは、標準的な実験と同様に機能します。しかしながら、場合によっては対照群とバリアントの露出の間に不均等な分割が生じることがあります。設定した目標と制限値は、治療回数の頻度に影響します。

次の例を考えてみましょう。

AmplitudeはユーザーAをコントロールに割り当て、ユーザーBをトリートメントに割り当てます。

AmplitudeがユーザーBにトリートメントの表示を妨げる別のガイドまたは調査を提供した場合、露出イベントは発生しません。この露出イベントは、ユーザーBがそのトリートメントを目にしたときにのみ発生します。
同じシナリオがコントロールグループ内のユーザーAにも発生した場合、ユーザーAは関連ガイドを受信しませんが、これはコントロールグループとしては想定通りの動作であるため、エクスポージャーイベントが発生します。

実験を終了

実験を終了するには、実験の設定ページに移動し、「実験を停止」をクリックし、以下のいずれかのオプションを選択してください。

実験を完了する：勝者を宣言する。いずれかのバリアントが勝者である場合、Amplitudeは敗者のバリアントをアーカイブし、勝者のバリアントを公開します。コントロールを勝者として選択した場合、実験は初期状態に戻り、コントロールのロールアウトは100%に設定されます。つまり、ユーザーにはガイドやアンケートが表示されません。
実験を継続する: 実験はライブ状態のままなので、より多くのデータを収集できます。

インサイト

インサイトタブは、ユーザーがガイドやアンケートにどのように関与しているかを追跡するためのダッシュボードです。経時的なビューと完了状況の傾向をモニターし、さまざまなバリエーションが互いにどのようにパフォーマンスを発揮しているかを追跡します。

時間ベースの分析

事前定義された期間におけるガイドとアンケートのエンゲージメントの傾向を追跡：

1時間ごと
毎日
毎週
毎月
四半期ごと

これらのプリセットを使用して、ユーザーがガイドやアンケートに最も関心を持つ可能性が高い時期や、新しいプロダクトのリリース後にエンゲージメントが変わるかどうかを判断できます。

日付範囲の選択

時間単位に基づいて事前定義された範囲を選択するか、カレンダーアイコンをクリックして独自の範囲を定義します。以下から選択してください：

ローリングウィンドウ (Last # complete days and today)
以降の日付
日付の間

高度な設定を使用すると、次のことができます。

ローリングウィンドウに日付オフセットを追加する
今日を除外
時間範囲を有効にする

パフォーマンスの概要

[インサイト]タブの最上部のチャートは、[パフォーマンス概要]です。 Amplitudeは、ガイドやアンケートのパフォーマンスを追跡するハイレベルな指標を表示します。

メトリック	概要
閲覧済みのガイド/サーベイ	ガイドまたはアンケートがユーザーに表示された回数。
ガイド/サーベイ実施済み	ユーザーがガイドまたはサーベイを完了した回数。
トレンドグラフ	日付範囲セレクタで指定した時間範囲にわたって表示カウントまたは完了カウントを追跡します。

これは役に立ちましたか？

実験

プランの提供状況G&S A/B テスト、G&S MABは、グロース、エンタープライズプランでアドオンとして利用できます。