エージェント分析のプライバシーモード

エージェント分析のプライバシーモードは、プロンプトとレスポンスのテキストがインフラストラクチャから離れるかどうかを制御します。3つのモードがあります。fullはメッセージコンテンツを送信し、metadata_onlyは何も送信しません。またcustomer_enrichedは何も送信しませんが、自身で算出した品質ラベルが使用されます。すべてのモードでは、引き続きトークン、コスト、レイテンシ、モデル名、セッショングループ化が送信されます。

カバー広範なロールアウトを実施する前にこのモードを選択してください。選択するモードによって、法務審査ですべき範囲が決まります。Amplitudeは、AI SDKのデフォルトPII秘匿を採用するfullを推奨します。組み込みのシグナル、トピック、LLM評価ツールはメッセージテキストを読み取るため、他の2つのモードではこれらをオフにします。

各モードの送信内容

実験のキー、バリアント、プロバイダーは識別子であり、コンテンツではないため、すべてのモードでそれらが送信されますが、PIIマスキングではそれらが削除されません。ユーザーデータは使用しないで、フラグとバリアント名を使用してください。

ほとんどの組み込みのシグナル、トピック、プロンプトベースの評価子はメッセージテキストを読み取ります。 セッションにテキストが含まれない場合、Amplitudeは推測するのではなく、[Agent] Session Recordの結果を外します。データ品質の問題シグナルと、追加した任意のコード評価子は引き続き実行されます。コスト、レイテンシ、トークン、エラー、モデルメトリクスはすべてのモードで機能します。 各シグナルからの読み取り値については、Agent Analyticsの組み込みシグナルを参照してください。

full

メッセージのコンテンツ、システムプロンプト、ツールの入力と出力、スコアコメントはすべてAmplitudeに到達します。 Amplitudeの組み込み型エンリッチメントを実行し、最も完全なシグナルセットを生成します。

  • システムプロンプトはオプションであるため、省略できます。
  • AI SDKはデフォルトでPIIをマスキングします。イベントがプロセスから離れる前に、メールアドレス、電話番号、SSN、クレジットカード番号、IPアドレス、base64画像を削除します。 パターンとプレースホルダの完全なリストについては、PIIマスキングによって削除されるものを参照してください。

metadata_only

メッセージのコンテンツ、システムプロンプト、ツールのペイロード、スコアのコメントはいずれもプロセスの外に出ることはありません。トークン、コスト、レイテンシ、モデル名、セッショングループ化は引き続き表示されるため、コンテンツを必要としない分析は引き続き機能します。

customer_enriched

プロセスを離れるコンテンツはありません。metadata_onlyと同じです。インフラストラクチャで独自の評価を実行し、trackSessionEnrichment()(Node)またはtrack_session_enrichment()(Python)経由で結果を送信します。Amplitudeは、送信時にこれらのラベルを[Agent] Session Enrichmentイベントに保存します。

Session Enrichmentイベントは任意のモードで送信できます。customer_enrichedこのモードは、Amplitudeのコンテンツベースのシグナルが読み取るテキストを持たないため、ラベルがセッションレベルの品質データの主なソースとなります。独自のセッションエンリッチメントを提供を参照してください。

PIIの非表示化によって除去されるもの

fullモードでは、AI SDKが送信するすべてのコンテンツチャネル(メッセージテキスト、システムプロンプト、ツールの入力と出力、ツールの定義、推論コンテンツ、スコアコメント)をスキャンし、イベントがプロセスから離れる前に、各一致を固定のプレースホルダに置き換えます。マスキング(秘匿化)はデフォルトで有効になっています。NodeではredactPii、またPythonではバージョン1.17.0以降でredact_piiが有効になります。プレースホルダには引用符やバックスラッシュが含まれていないため、JSON内では有効なままです。

テストとセキュリティレビューで期待される動作

  • 検出はパターンベースです。 SDKはnamed-entityモデルを実行しないため、名前、住所、生年月日を編集しません。 これらに対してcustomRedactionPatternsやcustomRedactionFn(Node)またはcustom_redaction_patternsやcustom_redaction_fn(Python)を追加するか、Presidioなどの独自のスクラバーを組み込みます。
  • 電話番号とSSNの検出は米国の形式を対象としています。国際番号は、先頭に+の文字が付いたE.164形式とのみ一致します。
  • std::vector、a[::2]、::Moduleのようなコードスタイルの::トークンは、IPv6アドレスとして扱われません。
  • Base64のマスキングは、値全体に適用されます。SDKは、20文字より長く、長さが4の倍数であり、かつ+、/、=文字を含んでいる場合にのみ、生のBase64文字列をマスキング(秘匿化)します。そのため、ULID、16進数トークン、およびダッシュのないUUIDはそのまま通過します。長い文章に埋め込まれたbase64画像は、そのまま残ります。
  • カスタムパターンとカスタム関数は、組み込みパターンの後に実行されます。カスタム関数が例外をスローしたり、文字列以外を返したりした場合、SDKは値全体を[content redacted]に置き換えます。

マスキングのソースはNode SDKにあります。秘匿されたリクエストを送信することなく検査するには、SDKでレビューモードを有効にします。

モードを適用する

モードを適用する方法は、インストルメンテーションパスによって異なります。

  • AI SDK(Node、Python):AIConfig上で、contentMode(Node)またはcontent_mode(Python)を一度設定してください。SDKは、すべてのコンテンツ伝送チャネルを1つのゲートを介してルーティングします。 SDKリファレンスの「プライバシーモードを選択」を参照してください。
  • OpenTelemetry:OpenTelemetryインストルメンテーションでコンテンツキャプチャをオンまたはオフにします。プライバシーモードの適用を参照してください。
  • HTTP API、Batch、S3、OpenTelemetry、またはウェアハウスインポート:Amplitudeは、受信後にコンテンツをスクラブ(匿名化)しません。redactPiiは、AI SDKをロードするプロセス内でのみ実行されます。データがインフラストラクチャを離れる前に、パターンマスキング、メタデータのみ、または独自のコールバック、SQL、またはCollectorプロセッサを選択してください。共有パターンはプライバシーガイドに記載されており、PIIマスキング(秘匿化)で削除される情報の表と一致します。Collectorのreplace_patternルールは、より単純なパターンを近似できます。メール、IPv6、base64の完全なパリティには、この共有関数が必要です。

データのレジデンシー

Agent Analyticsは、Amplitudeの米国とEUのデータセンターで実行されます。プロジェクトをホストするデータセンターにイベントを送信します。プライバシーモードは、両方に同じ方法で適用されます。

AI SDKは、標準のAmplitudeクライアント経由でイベントを送信します。 EUプロジェクトの場合は、そのクライアントをEU用に設定し、APIキーの代わりに渡します:

import * as amplitude from "@amplitude/analytics-node";
import { AmplitudeAI } from "@amplitude/ai";
amplitude.init(process.env.AMPLITUDE_AI_API_KEY!, { serverZone: "EU" });
const ai = new AmplitudeAI({ amplitude });

これは役に立ちましたか?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

このページでは