에이전트 분석 설정

에이전트 분석은 에이전트의 메시지, 도구 호출 및 응답을 사용자에게 연결된 세션으로 그룹화한 다음 각 세션에 점수를 부여합니다. 설정은 프로젝트 선택, 세션 및 개인정보 보호 전략 결정, 하나의 방식을 사용한 계측, 그리고 확인의 네 단계를 거칩니다. 사용자 정의가 없는 기본값의 경우 대신 에이전트 분석 퀵스타트를 완료하십시오. 여전히 평가 중인 경우, 에이전트 결과 분석에서 에이전트 분석이 생성하는 내용을 보여줍니다.

설치 작동 방식

  1. 데이터가 유입되는 Amplitude 프로젝트를 선택하고 해당 프로젝트 API 키를 얻습니다.
  2. 세션 ID, 사용자 ID 및 개인정보 보호 모드를 결정합니다. 계측하기 전에를 참조하십시오.
  3. 하나의 방식을 선택하여 코드를 계측하십시오. 계측 경로 선택을 참조하십시오.
  4. 이벤트를 확인하십시오. 확인을 참조하십시오.

계측된 세션의 각 턴은 [Agent] User Message 하나와, 도구 호출당 [Agent] Tool Call 하나, 그리고 [Agent] AI Response 하나를 생성합니다. 작업이 완료되면 [Agent] Session End을(를) 전송합니다. 선택 사항이며 권장됩니다. 이를 생략하면 Amplitude는 해당 idle-timeout 규칙에 따라 세션을 닫습니다. 세션이 닫힌 후 Amplitude는 세션의 보강 결과가 포함된 [Agent] Session Record을(를) 추가합니다. 아래의 타임라인은 이 시퀀스를 보여줍니다. 아무 이벤트나 클릭하여 해당 모양을 검사합니다.

SDK에서세션 내 실시간출처: Amplitude사후 강화하중1번 턴2번 턴종료ViewedPage(브라우저 SDK)User MessageTool CallAI ResponseUser MessageTool CallAI Response···Session End또한 방출됨 — 한 턴 내에서SpanSession RecordEvaluator Result × N
이벤트 유형
[Agent] AI ResponseSDK에서
발생 시각:
22:33:48
아이덴티티
[Agent] Session ID4ddcc6b2-1041-432a-aa8c-ebe3eccac40b
[Agent] Agent IDsupport-chatbot
[Agent] Trace IDb4f63d43-d752-4b1f-8489-d234ddf586b2
이벤트별
$llm_message.textI can help. Your subscription renews on Aug 15…
[Agent] Model Namegpt-4o-mini
[Agent] Provideropenai
[Agent] Input Tokens1245
[Agent] Output Tokens87
[Agent] Latency Ms3420
[Agent] Cost USD0.0012
턴을 닫습니다. SDK doctor가 설정 시 확인하는 8가지 필드를 포함합니다: 세션 ID, 에이전트 ID, 모델, 공급자, Latency Ms, 입력/출력 토큰, 비용 USD.s.trackAiMessage(...) 또는 프로바이더 래퍼에 의해 방출됩니다.

계측하기 전에

코드를 작성하기 전에 이를 결정하십시오. 각 항목은 롤아웃 후 변경하기 어렵습니다.

  • 세션 ID 및 사용자 ID: 하나의 작업 단위를 나타내는 ID와 이미 프로덕트 분석에 사용하고 있는 안정적인 사용자 ID입니다. 에이전트 분석 세션 및 사용자 ID를 참조하십시오.
  • 개인정보 보호 모드: 프롬프트 및 응답 텍스트가 인프라에서 벗어날 지 여부를 지정합니다. 개인정보 보호 모드 선택을 참조하십시오.

개인정보 보호 모드 선택

세 가지 모드가 인프라에서 나가는 데이터를 제어합니다. full(기본값)은(는) 메시지 콘텐츠를 전송하고, metadata_only은(는) 아무것도 전송하지 않으며, customer_enriched은(는) 아무것도 전송하지 않고 사용자가 직접 계산하는 품질 라벨을 포함합니다. 모든 모드가 토큰, 비용, 지연 시간, 모델 이름 및 세션 그룹화를 전송합니다. 전체 비교와 각 모드를 경로에 적용하는 방법을 확인하려면 에이전트 분석 개인정보 보호 모드를 참조하십시오.

계측 경로 선택

하나의 경로를 선택합니다. 모든 경로가 동일한 [Agent] 이벤트를 생성하므로 세션, 보강 및 차트는 동일한 방식으로 작동합니다.

SDK로 연결

Node 또는 Python용 AI SDK를 설치한 다음 AI 코딩 에이전트가 앱을 계측하도록 하거나 수동으로 연결하도록 하십시오. AI SDK로 에이전트 계측하기로 이동합니다.

OpenTelemetry 추적 직접 전송

OTLP Exporter 또는 Collector를 Amplitude의 엔드포인트로 지정하고 스팬에 conversation 속성을 설정합니다. 에이전트 분석으로 OpenTelemetry 추적 전송 항목으로 이동하십시오.

AI SDK 없이 에이전트 이벤트 전송

AI SDK가 런타임에 맞지 않을 때 표준 Amplitude SDK 또는 HTTP API를 사용하여 [Agent]이벤트를 전송하십시오. AI SDK 없이 에이전트 이벤트 전송으로 이동합니다.

확인

라이브 이벤트에서 하나의 실제 상호 작용을 전송하고 해당 이벤트에 대해 9개의 게이트를 확인한 다음 롤아웃 전에 프로덕션 체크리스트를 실행하십시오. 에이전트 분석 계측 확인을 참조하십시오. 누락된 항목이 있는 경우 에이전트 분석 설정 문제 해결을 참조하십시오.

설정 확장

다음 단계는 선택 사항입니다.

이 내용이 도움이 되었나요?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

이 페이지에서