Agent Analyticsを設定する
エージェント分析は、エージェントのメッセージ、ツール呼び出し、レスポンスをユーザーに関連付けられたセッションにグループ化し、各セッションにスコアを付けます。セットアップには、プロジェクトの選択、セッションおよびプライバシー戦略の決定、いずれかのパスでの計測、検証の4つのステップがあります。カスタマイズされていないデフォルトの場合は、代わりにエージェント分析のクイックスタートを完了してください。まだ評価中の場合は、「エージェント結果の分析」を確認すると、エージェント分析が生成する内容がわかります。
セットアップの仕組み
- データが流れるAmplitudeプロジェクトを選択し、そのプロジェクトのAPIキーを取得します。
- 使用するセッションID、ユーザーID、プライバシーモードを決定します。「計測を行う前に」を参照してください。
- コードに1つのパスでインストルメンテーションを行います。インストルメンテーションパスの選択を参照してください。
- イベントを確認してください。検証を参照してください。
インストルメンテーションされたセッションの各ターンは、[Agent] User Message、ツールの呼び出しごとに1つの[Agent] Tool Call、および[Agent] AI Responseを生成します。作業が終了したら、[Agent] Session Endを送信します。これはオプションであり、推奨されます。 これを省略した場合、Amplitudeはアイドルタイムアウトルールに従ってセッションを終了します。セッションが終了すると、Amplitudeはセッションのエンリッチメント結果に[Agent] Session Recordを追加します。以下のタイムラインはこのシーケンスを示しています。任意のイベントをクリックすると、その形状を確認できます。
| [Agent] Session ID | 4ddcc6b2-1041-432a-aa8c-ebe3eccac40b |
| [Agent] Agent ID | support-chatbot |
| [Agent] Trace ID | b4f63d43-d752-4b1f-8489-d234ddf586b2 |
| $llm_message.text | I can help. Your subscription renews on Aug 15… |
| [Agent] Model Name | gpt-4o-mini |
| [Agent] Provider | openai |
| [Agent] Input Tokens | 1245 |
| [Agent] Output Tokens | 87 |
| [Agent] Latency Ms | 3420 |
| [Agent] Cost USD | 0.0012 |
s.trackAiMessage(...)またはプロバイダーラッパーによって発行されます。インストルメントを行う前に
コードを書く前に、これらを決定してください。 それぞれは、ロールアウト後に変更するのは困難です。
- セッションIDとユーザーID: 1つの作業単位を表すIDと、プロダクト分析にすでに使用している安定したユーザーIDです。 Agent分析のセッションとユーザーIDを参照してください。
- プライバシーモード:プロンプトとレスポンスのテキストがインフラストラクチャから離れるかどうか。 『プライバシーモードの選択』を参照してください。
プライバシーモードを選択する
インフラストラクチャから何が送信されるかを制御するモードは3つあります。full(デフォルト)はメッセージコンテンツを送信し、metadata_onlyは何も送信しません。customer_enrichedは何も送信しませんが、自身で計算した品質ラベルを付与します。すべてのモードでは、トークン、コスト、レイテンシ、モデル名、セッショングループ化が送信されます。 完全な比較と、パスに各モードを適用する方法については、エージェント分析のプライバシーモードを参照してください。
計測パスの選択
1つのパスを選択してください。 すべてのパスが同じ[Agent]イベントを生成するため、セッション、エンリッチメント、チャートは同じように機能します。
| パス | 使用するタイミング | ガイド |
|---|---|---|
| AI SDK(Node、Python) | NodeまたはPythonのコードベースを変更できます。 | AI SDKを使用してエージェントをインストルメントする |
| OpenTelemetry | GenAIスパンをすでにエクスポートしているか、OpenTelemetry Collectorを実行しています。 | OpenTelemetryトレースをAgent Analyticsに送信する |
| HTTP APIまたは標準のAmplitude SDK | AI SDKは、お客様のランタイムには適していません:ブラウザ、エッジランタイム、AIアプリビルダー、Java、Go、Ruby | AI SDKなしでエージェントイベントを送信する |
| 連携 | ホスト型プラットフォーム、トレースツール、ウェアハウス、OpenTelemetryをエクスポートするエージェントフレームワーク、ゲートウェイ、Fireworks、ローカルモデル、または Cursor Agent SDK | 他のツールからエージェントの会話をインポートする |
SDKを使用して接続する
NodeまたはPython用のAI SDKをインストールし、AIコーディングエージェントにアプリのインストルメントを依頼するか、手動で接続します。 「AI SDKを使用してエージェントをインストルメントする」に移動します。
OpenTelemetryトレースを直接送信する
OTLPエクスポータまたはコレクタの送信先をAmplitudeのエンドポイントに設定し、スパンに会話属性を設定します。「OpenTelemetryトレースをエージェント分析に送信」に移動します。
AI SDKなしでエージェントイベントを送信する
AI SDKがご利用のランタイムに適合しない場合は、標準のAmplitude SDKまたはHTTP APIを使用して[Agent]イベントを送信します。「AI SDKなしでエージェントイベントを送信」に移動します。
確認する
ライブイベントで1つの実際のインタラクションを送信し、そのイベントで9つのゲートをチェックします。その後、ロールアウトの前にプロダクションチェックリストを実行します。エージェント分析のインストルメンテーションを確認するを参照してください。何かが欠落している場合は、エージェント分析の設定に関するトラブルシューティングを参照してください。
設定を拡張する
これらのステップはオプションです。
- セッションのタイムアウト: 人間が実行するジョブの場合は、セッションを30分以上開いたままにしておきます。 セッションのタイムアウトを設定するを参照してください。
- ユーザーのフィードバック: 高評価、低評価、CSAT評価を
[Agent] Scoreイベントとして送信します。ユーザーフィードバックの収集を参照してください。 - セッションリプレイ:各エージェントセッションを、それが発生した訪問の記録にリンクします。「エージェントセッションをセッションリプレイにリンク」を参照してください。
- マルチエージェントシステム:親エージェントから子エージェントへの委任を記録します。マルチエージェントシステムの計測を参照してください。
- カスタム評価者: 独自のモデルプロバイダーキーを追加して、評価者およびキャリブレーションの実行を行います。カスタム評価者の設定を参照してください。
これは役に立ちましたか?
For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.