エージェント分析のプライバシーモード
エージェント分析のプライバシーモードは、プロンプトとレスポンスのテキストがインフラストラクチャから離れるかどうかを制御します。3つのモードがあります。fullはメッセージコンテンツを送信し、metadata_onlyは何も送信しません。またcustomer_enrichedは何も送信しませんが、自身で算出した品質ラベルが使用されます。すべてのモードでは、引き続きトークン、コスト、レイテンシ、モデル名、セッショングループ化が送信されます。
カバー広範なロールアウトを実施する前にこのモードを選択してください。選択するモードによって、法務審査ですべき範囲が決まります。Amplitudeは、AI SDKのデフォルトPII秘匿を採用するfullを推奨します。組み込みのシグナル、トピック、LLM評価ツールはメッセージテキストを読み取るため、他の2つのモードではこれらをオフにします。
各モードの送信内容
full(デフォルト) | metadata_only | customer_enriched | |
|---|---|---|---|
メッセージコンテンツ($llm_message.text) | 送信済み | 送信されていません | 送信されていません |
| システムプロンプト | 送信済み | 送信されていません | 送信されていません |
| ツールの入力と出力 | 送信済み | 送信されていません | 送信されていません |
| スコアコメント | 送信済み | 送信されていません | 送信されていません |
| トークン、コスト、レイテンシ、モデル、セッションのグループ化 | 送信済み | 送信済み | 送信済み |
実験キーとバリアント([Agent] Experiment*) | 送信済み | 送信済み | 送信済み |
| メッセージテキストを読み取る組み込みのシグナルと評価ツール | 実行 | 未実行 | 未実行 |
| データ品質の問題とコード評価子 | 実行 | 実行 | 実行 |
trackSessionEnrichment()経由の独自のエンリッチメント | 利用可能 | 利用可能 | 利用可能 |
実験のキー、バリアント、プロバイダーは識別子であり、コンテンツではないため、すべてのモードでそれらが送信されますが、PIIマスキングではそれらが削除されません。ユーザーデータは使用しないで、フラグとバリアント名を使用してください。
ほとんどの組み込みのシグナル、トピック、プロンプトベースの評価子はメッセージテキストを読み取ります。 セッションにテキストが含まれない場合、Amplitudeは推測するのではなく、[Agent] Session Recordの結果を外します。データ品質の問題シグナルと、追加した任意のコード評価子は引き続き実行されます。コスト、レイテンシ、トークン、エラー、モデルメトリクスはすべてのモードで機能します。 各シグナルからの読み取り値については、Agent Analyticsの組み込みシグナルを参照してください。
full
メッセージのコンテンツ、システムプロンプト、ツールの入力と出力、スコアコメントはすべてAmplitudeに到達します。 Amplitudeの組み込み型エンリッチメントを実行し、最も完全なシグナルセットを生成します。
- システムプロンプトはオプションであるため、省略できます。
- AI SDKはデフォルトでPIIをマスキングします。イベントがプロセスから離れる前に、メールアドレス、電話番号、SSN、クレジットカード番号、IPアドレス、base64画像を削除します。 パターンとプレースホルダの完全なリストについては、PIIマスキングによって削除されるものを参照してください。
metadata_only
メッセージのコンテンツ、システムプロンプト、ツールのペイロード、スコアのコメントはいずれもプロセスの外に出ることはありません。トークン、コスト、レイテンシ、モデル名、セッショングループ化は引き続き表示されるため、コンテンツを必要としない分析は引き続き機能します。
customer_enriched
プロセスを離れるコンテンツはありません。metadata_onlyと同じです。インフラストラクチャで独自の評価を実行し、trackSessionEnrichment()(Node)またはtrack_session_enrichment()(Python)経由で結果を送信します。Amplitudeは、送信時にこれらのラベルを[Agent] Session Enrichmentイベントに保存します。
Session Enrichmentイベントは任意のモードで送信できます。customer_enrichedこのモードは、Amplitudeのコンテンツベースのシグナルが読み取るテキストを持たないため、ラベルがセッションレベルの品質データの主なソースとなります。独自のセッションエンリッチメントを提供を参照してください。
PIIの非表示化によって除去されるもの
fullモードでは、AI SDKが送信するすべてのコンテンツチャネル(メッセージテキスト、システムプロンプト、ツールの入力と出力、ツールの定義、推論コンテンツ、スコアコメント)をスキャンし、イベントがプロセスから離れる前に、各一致を固定のプレースホルダに置き換えます。マスキング(秘匿化)はデフォルトで有効になっています。NodeではredactPii、またPythonではバージョン1.17.0以降でredact_piiが有効になります。プレースホルダには引用符やバックスラッシュが含まれていないため、JSON内では有効なままです。
| 検出値 | 一致したフォーマット | 置換 |
|---|---|---|
| メールアドレス | name@domain.tldアクセント付きのローカル部分や非ラテン文字のローカル部分を含むアドレス | [email] |
| 電話番号 | 米国式の10桁の数値(括弧、ドット、ダッシュ、またはスペースはオプション)とE.164形式の国際数値(+の後に7~15桁の数字が続くもの) | [phone] |
| クレジットカード番号 | 4つのグループに分けられた16桁の数字(オプションでダッシュやスペースを使用) | [credit_card] |
| 社会保障番号 | 米国のSSNをダッシュ区切り(123-45-6789)またはスペース区切り(123 45 6789)形式にしたもの | [ssn] |
| IP アドレス。 | IPv4およびIPv6(::1やhttp://[::1]:8080のような括弧で囲まれたURL形式を含む) | [ip_address] |
| Base64 イメージ | 値全体がdata:のbase64 URLであるもの、または画像と見なせる十分な長さがある生のbase64 | [base64 image redacted] |
テストとセキュリティレビューで期待される動作
- 検出はパターンベースです。 SDKはnamed-entityモデルを実行しないため、名前、住所、生年月日を編集しません。 これらに対して
customRedactionPatternsやcustomRedactionFn(Node)またはcustom_redaction_patternsやcustom_redaction_fn(Python)を追加するか、Presidioなどの独自のスクラバーを組み込みます。 - 電話番号とSSNの検出は米国の形式を対象としています。国際番号は、先頭に
+の文字が付いたE.164形式とのみ一致します。 std::vector、a[::2]、::Moduleのようなコードスタイルの::トークンは、IPv6アドレスとして扱われません。- Base64のマスキングは、値全体に適用されます。SDKは、20文字より長く、長さが4の倍数であり、かつ
+、/、=文字を含んでいる場合にのみ、生のBase64文字列をマスキング(秘匿化)します。そのため、ULID、16進数トークン、およびダッシュのないUUIDはそのまま通過します。長い文章に埋め込まれたbase64画像は、そのまま残ります。 - カスタムパターンとカスタム関数は、組み込みパターンの後に実行されます。カスタム関数が例外をスローしたり、文字列以外を返したりした場合、SDKは値全体を
[content redacted]に置き換えます。
マスキングのソースはNode SDKにあります。秘匿されたリクエストを送信することなく検査するには、SDKでレビューモードを有効にします。
モードを適用する
モードを適用する方法は、インストルメンテーションパスによって異なります。
- AI SDK(Node、Python):
AIConfig上で、contentMode(Node)またはcontent_mode(Python)を一度設定してください。SDKは、すべてのコンテンツ伝送チャネルを1つのゲートを介してルーティングします。 SDKリファレンスの「プライバシーモードを選択」を参照してください。 - OpenTelemetry:OpenTelemetryインストルメンテーションでコンテンツキャプチャをオンまたはオフにします。プライバシーモードの適用を参照してください。
- HTTP API、Batch、S3、OpenTelemetry、またはウェアハウスインポート:Amplitudeは、受信後にコンテンツをスクラブ(匿名化)しません。
redactPiiは、AI SDKをロードするプロセス内でのみ実行されます。データがインフラストラクチャを離れる前に、パターンマスキング、メタデータのみ、または独自のコールバック、SQL、またはCollectorプロセッサを選択してください。共有パターンはプライバシーガイドに記載されており、PIIマスキング(秘匿化)で削除される情報の表と一致します。Collectorのreplace_patternルールは、より単純なパターンを近似できます。メール、IPv6、base64の完全なパリティには、この共有関数が必要です。
データのレジデンシー
Agent Analyticsは、Amplitudeの米国とEUのデータセンターで実行されます。プロジェクトをホストするデータセンターにイベントを送信します。プライバシーモードは、両方に同じ方法で適用されます。
| パス | 米国 | 欧州連合 |
|---|---|---|
| AI SDK | デフォルト | EU用に設定されたAmplitudeクライアントを渡します。 |
| OpenTelemetry | https://api.amplitude.com/otlp/v1/traces | https://api.eu.amplitude.com/otlp/v1/traces |
| HTTP API | https://api2.amplitude.com/2/httpapi | https://api.eu.amplitude.com/2/httpapi |
amplitude-ai-register-catalog | デフォルト | --euを追加 |
AI SDKは、標準のAmplitudeクライアント経由でイベントを送信します。 EUプロジェクトの場合は、そのクライアントをEU用に設定し、APIキーの代わりに渡します:
import * as amplitude from "@amplitude/analytics-node";
import { AmplitudeAI } from "@amplitude/ai";
amplitude.init(process.env.AMPLITUDE_AI_API_KEY!, { serverZone: "EU" });
const ai = new AmplitudeAI({ amplitude });
これは役に立ちましたか?
For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.