Agent Analyticsを設定する

エージェント分析は、エージェントのメッセージ、ツール呼び出し、レスポンスをユーザーに関連付けられたセッションにグループ化し、各セッションにスコアを付けます。セットアップには、プロジェクトの選択、セッションおよびプライバシー戦略の決定、いずれかのパスでの計測、検証の4つのステップがあります。カスタマイズされていないデフォルトの場合は、代わりにエージェント分析のクイックスタートを完了してください。まだ評価中の場合は、「エージェント結果の分析」を確認すると、エージェント分析が生成する内容がわかります。

セットアップの仕組み

  1. データが流れるAmplitudeプロジェクトを選択し、そのプロジェクトのAPIキーを取得します。
  2. 使用するセッションID、ユーザーID、プライバシーモードを決定します。「計測を行う前に」を参照してください。
  3. コードに1つのパスでインストルメンテーションを行います。インストルメンテーションパスの選択を参照してください。
  4. イベントを確認してください。検証を参照してください。

インストルメンテーションされたセッションの各ターンは、[Agent] User Message、ツールの呼び出しごとに1つの[Agent] Tool Call、および[Agent] AI Responseを生成します。作業が終了したら、[Agent] Session Endを送信します。これはオプションであり、推奨されます。 これを省略した場合、Amplitudeはアイドルタイムアウトルールに従ってセッションを終了します。セッションが終了すると、Amplitudeはセッションのエンリッチメント結果に[Agent] Session Recordを追加します。以下のタイムラインはこのシーケンスを示しています。任意のイベントをクリックすると、その形状を確認できます。

SDKからセッション中のリアルタイムAmplitudeより事後エンリッチメントロードターン1ターン2終了ViewedPage(ブラウザSDK)User MessageTool CallAI ResponseUser MessageTool CallAI Response···Session End1ターン内でも発生しますSpanSession RecordEvaluator Result × N
イベントタイプ
[Agent] AI ResponseSDK から
発生時刻
22:33:48
アイデンティティ
[Agent] Session ID4ddcc6b2-1041-432a-aa8c-ebe3eccac40b
[Agent] Agent IDsupport-chatbot
[Agent] Trace IDb4f63d43-d752-4b1f-8489-d234ddf586b2
イベント固有の
$llm_message.textI can help. Your subscription renews on Aug 15…
[Agent] Model Namegpt-4o-mini
[Agent] Provideropenai
[Agent] Input Tokens1245
[Agent] Output Tokens87
[Agent] Latency Ms3420
[Agent] Cost USD0.0012
ターンを閉じます。 セットアップ時にSDKドクターが確認する8つのフィールド(Session ID、Agent ID、Model、Provider、Latency ms、Input/Output Tokens、Cost USD)を保持します。s.trackAiMessage(...)またはプロバイダーラッパーによって発行されます。

インストルメントを行う前に

コードを書く前に、これらを決定してください。 それぞれは、ロールアウト後に変更するのは困難です。

  • セッションIDとユーザーID: 1つの作業単位を表すIDと、プロダクト分析にすでに使用している安定したユーザーIDです。 Agent分析のセッションとユーザーIDを参照してください。
  • プライバシーモード:プロンプトとレスポンスのテキストがインフラストラクチャから離れるかどうか。 『プライバシーモードの選択』を参照してください。

プライバシーモードを選択する

インフラストラクチャから何が送信されるかを制御するモードは3つあります。full(デフォルト)はメッセージコンテンツを送信し、metadata_onlyは何も送信しません。customer_enrichedは何も送信しませんが、自身で計算した品質ラベルを付与します。すべてのモードでは、トークン、コスト、レイテンシ、モデル名、セッショングループ化が送信されます。 完全な比較と、パスに各モードを適用する方法については、エージェント分析のプライバシーモードを参照してください。

計測パスの選択

1つのパスを選択してください。 すべてのパスが同じ[Agent]イベントを生成するため、セッション、エンリッチメント、チャートは同じように機能します。

SDKを使用して接続する

NodeまたはPython用のAI SDKをインストールし、AIコーディングエージェントにアプリのインストルメントを依頼するか、手動で接続します。 「AI SDKを使用してエージェントをインストルメントする」に移動します。

OpenTelemetryトレースを直接送信する

OTLPエクスポータまたはコレクタの送信先をAmplitudeのエンドポイントに設定し、スパンに会話属性を設定します。「OpenTelemetryトレースをエージェント分析に送信」に移動します。

AI SDKなしでエージェントイベントを送信する

AI SDKがご利用のランタイムに適合しない場合は、標準のAmplitude SDKまたはHTTP APIを使用して[Agent]イベントを送信します。「AI SDKなしでエージェントイベントを送信」に移動します。

確認する

ライブイベントで1つの実際のインタラクションを送信し、そのイベントで9つのゲートをチェックします。その後、ロールアウトの前にプロダクションチェックリストを実行します。エージェント分析のインストルメンテーションを確認するを参照してください。何かが欠落している場合は、エージェント分析の設定に関するトラブルシューティングを参照してください。

設定を拡張する

これらのステップはオプションです。

これは役に立ちましたか?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

このページでは