에이전트 분석 설정
에이전트 분석은 에이전트의 메시지, 도구 호출 및 응답을 사용자에게 연결된 세션으로 그룹화한 다음 각 세션에 점수를 부여합니다. 설정은 프로젝트 선택, 세션 및 개인정보 보호 전략 결정, 하나의 방식을 사용한 계측, 그리고 확인의 네 단계를 거칩니다. 사용자 정의가 없는 기본값의 경우 대신 에이전트 분석 퀵스타트를 완료하십시오. 여전히 평가 중인 경우, 에이전트 결과 분석에서 에이전트 분석이 생성하는 내용을 보여줍니다.
설치 작동 방식
- 데이터가 유입되는 Amplitude 프로젝트를 선택하고 해당 프로젝트 API 키를 얻습니다.
- 세션 ID, 사용자 ID 및 개인정보 보호 모드를 결정합니다. 계측하기 전에를 참조하십시오.
- 하나의 방식을 선택하여 코드를 계측하십시오. 계측 경로 선택을 참조하십시오.
- 이벤트를 확인하십시오. 확인을 참조하십시오.
계측된 세션의 각 턴은 [Agent] User Message 하나와, 도구 호출당 [Agent] Tool Call 하나, 그리고 [Agent] AI Response 하나를 생성합니다. 작업이 완료되면 [Agent] Session End을(를) 전송합니다. 선택 사항이며 권장됩니다. 이를 생략하면 Amplitude는 해당 idle-timeout 규칙에 따라 세션을 닫습니다. 세션이 닫힌 후 Amplitude는 세션의 보강 결과가 포함된 [Agent] Session Record을(를) 추가합니다. 아래의 타임라인은 이 시퀀스를 보여줍니다. 아무 이벤트나 클릭하여 해당 모양을 검사합니다.
| [Agent] Session ID | 4ddcc6b2-1041-432a-aa8c-ebe3eccac40b |
| [Agent] Agent ID | support-chatbot |
| [Agent] Trace ID | b4f63d43-d752-4b1f-8489-d234ddf586b2 |
| $llm_message.text | I can help. Your subscription renews on Aug 15… |
| [Agent] Model Name | gpt-4o-mini |
| [Agent] Provider | openai |
| [Agent] Input Tokens | 1245 |
| [Agent] Output Tokens | 87 |
| [Agent] Latency Ms | 3420 |
| [Agent] Cost USD | 0.0012 |
s.trackAiMessage(...) 또는 프로바이더 래퍼에 의해 방출됩니다.계측하기 전에
코드를 작성하기 전에 이를 결정하십시오. 각 항목은 롤아웃 후 변경하기 어렵습니다.
- 세션 ID 및 사용자 ID: 하나의 작업 단위를 나타내는 ID와 이미 프로덕트 분석에 사용하고 있는 안정적인 사용자 ID입니다. 에이전트 분석 세션 및 사용자 ID를 참조하십시오.
- 개인정보 보호 모드: 프롬프트 및 응답 텍스트가 인프라에서 벗어날 지 여부를 지정합니다. 개인정보 보호 모드 선택을 참조하십시오.
개인정보 보호 모드 선택
세 가지 모드가 인프라에서 나가는 데이터를 제어합니다. full(기본값)은(는) 메시지 콘텐츠를 전송하고, metadata_only은(는) 아무것도 전송하지 않으며, customer_enriched은(는) 아무것도 전송하지 않고 사용자가 직접 계산하는 품질 라벨을 포함합니다. 모든 모드가 토큰, 비용, 지연 시간, 모델 이름 및 세션 그룹화를 전송합니다. 전체 비교와 각 모드를 경로에 적용하는 방법을 확인하려면 에이전트 분석 개인정보 보호 모드를 참조하십시오.
계측 경로 선택
하나의 경로를 선택합니다. 모든 경로가 동일한 [Agent] 이벤트를 생성하므로 세션, 보강 및 차트는 동일한 방식으로 작동합니다.
| 경로 | 사용 시점 | 가이드 |
|---|---|---|
| AI SDK (Node, Python) | Node 또는 Python 코드베이스는 수정할 수 있습니다. | AI SDK를 사용하여 에이전트를 계측합니다 |
| OpenTelemetry | 이미 GenAI 스팬을 내보내거나 OpenTelemetry Collector를 실행하고 있습니다. | OpenTelemetry 추적을 에이전트 분석으로 전송 |
| HTTP API 또는 표준 Amplitude SDK | AI SDK는 귀하의 런타임에 맞지 않습니다: 브라우저, Edge 런타임, AI 앱 빌더, Java, Go 또는 Ruby | AI SDK 없이 에이전트 이벤트 전송 |
| 연동 | 호스팅된 플랫폼, 추적 도구, 웨어하우스, OpenTelemetry를 내보내는 에이전트 프레임워크, 게이트웨이, Fireworks, 로컬 모델 또는 Cursor Agent SDK | 다른 도구에서 에이전트 대화 가져오기 |
SDK로 연결
Node 또는 Python용 AI SDK를 설치한 다음 AI 코딩 에이전트가 앱을 계측하도록 하거나 수동으로 연결하도록 하십시오. AI SDK로 에이전트 계측하기로 이동합니다.
OpenTelemetry 추적 직접 전송
OTLP Exporter 또는 Collector를 Amplitude의 엔드포인트로 지정하고 스팬에 conversation 속성을 설정합니다. 에이전트 분석으로 OpenTelemetry 추적 전송 항목으로 이동하십시오.
AI SDK 없이 에이전트 이벤트 전송
AI SDK가 런타임에 맞지 않을 때 표준 Amplitude SDK 또는 HTTP API를 사용하여 [Agent]이벤트를 전송하십시오. AI SDK 없이 에이전트 이벤트 전송으로 이동합니다.
확인
라이브 이벤트에서 하나의 실제 상호 작용을 전송하고 해당 이벤트에 대해 9개의 게이트를 확인한 다음 롤아웃 전에 프로덕션 체크리스트를 실행하십시오. 에이전트 분석 계측 확인을 참조하십시오. 누락된 항목이 있는 경우 에이전트 분석 설정 문제 해결을 참조하십시오.
설정 확장
다음 단계는 선택 사항입니다.
- 세션 시간 초과: 사람이 대기하는 작업의 경우 세션 시간을 30분 이상으로 설정하십시오. 세션 시간 초과 구성을 참조하십시오.
- 사용자 피드백: 좋아요, 싫어요 및 CSAT 평가를
[Agent] Score이벤트로 전송합니다. 사용자 피드백 수집을 참조하십시오. - 세션 리플레이: 각 에이전트 세션을 해당 세션이 발생한 방문 기록에 연결합니다. 에이전트 세션을 세션 리플레이에 연결 문서를 참조하십시오.
- 다중 에이전트 시스템: 상위 에이전트에서 하위 에이전트로의 위임을 기록합니다. 멀티 에이전트 시스템 계측을 참조하십시오.
- 사용자 지정 평가자: 고유한 모델 공급자 키를 추가하여 평가 및 캘리브레이션을 실행하십시오. 사용자 지정 평가자 설정을 참조하십시오.
이 내용이 도움이 되었나요?
For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.