---
title: "Amplitude Agent Analytics"
description: "O Agent Analytics transforma traces e avaliações de agentes em eventos de produto, para que possa relacionar a qualidade dos agentes com a conversão, a retenção e a receita."
canonical: "https://amplitude.com/pt-pt/agent-analytics"
---

# Amplitude Agent Analytics

O Agent Analytics transforma traces e avaliações de agentes em eventos de produto, para que possa relacionar a qualidade dos agentes com a conversão, a retenção e a receita.

Source: https://amplitude.com/pt-pt/agent-analytics

---

Análise de agente

# Qual é o impacto real do seu agente de IA?

Saber que o seu agente deu uma boa resposta é a parte fácil. A Análise de agente vincula rastreios e avaliações à conversão, retenção e receita, para que possa associar a qualidade do agente ao impacto real no negócio.

[Registe-se para obter acesso antecipado](#contact)

### Sessions

ExportUpdate SDK

Suggested for you

Which users only engaged with our agent once?

Sessions per user = 1last 30d

Filter sessions

What are my agents' most common failure modes?

Clustered from 9.2k failed sessions

Filter sessions

What questions are being answered badly?

Quality score < 0.4last 30d

Filter sessions

How and why are users using the create\_theme tool?

create\_theme invocationslast 30d

Filter sessions

Last 30 daysSearch sessions…Filter

SessionUserAgentTagsWhen

P

ie53jmbua0

5h ago

User activityFind similar sessionsAdd to dataset1 of 12

I need a 3-row SUV under $45k with top safety ratings. What should I look at?

May 27 · 3:22 PM

Searched inventory · 3-row SUVs within 40 mi

One financing quote timed out, but inventory and trim data came back clean. Three cars fit your budget and safety bar:

- **Best match:** 2024 Kia Telluride EX — $43,190, IIHS Top Safety Pick+
- **Runner-up:** 2024 Honda Pilot EX-L — $44,700, seats 8
- **Watch out:** the Highlander XLE clears $46,800 once you add all-wheel drive

Two Tellurides are in stock at Northgate Kia. Want me to book a test drive this weekend?

$0.42 · 3:22:48 PM

Yes — book the Telluride test drive for Saturday morning.

3:23 PM

Summary

Matched a $45k 3-row SUV request to three models and booked a Saturday test drive for the Telluride.

Usage

Cost$0.2390

Tokens413.4k

Latency31.9s

Last run5m ago

Configuration

AgentAuto Agent

Modelbedrock:claude-sonnet-4

Turns1

Signals

Task Completed: **True**Response Was Helpful: **False**Session Safety: **Normal**User Intent: **Task Execution**User Friction: **False**Has Negative Feedback: **False**Data Quality Issues: **False**

How do signals work?

Topic

**Task Execution**

9:41

TripsMiraTravel assistant···

Today

Find me hotels in Montreal under $300 a night for my June trip.

Done. Here are **3 stays in Montreal** that fit your budget. Every option is under $300/night.All under $300

Hôtel Saint-LaurentVieux-Montréal**4.6** · 1,204 reviews$189/ night

Maison PlateauLe Plateau-Mont-Royal**4.7** · 876 reviews$245/ night

Auberge Mont-RoyalMile End**4.5** · 1,530 reviews$279/ night

Message Mira…

On budget

9:41

TripsMiraTravel assistant···

Today

Find me hotels in Montreal under $300 a night for my June trip.

Here are the **top-rated hotels in Montreal** for June. Take a look!

Le Ritz BoutiqueDowntown**4.8** · 2,011 reviews$385/ night

Grand Hôtel Place-des-ArtsQuartier des Spectacles**4.7** · 1,442 reviews$420/ night

These are all over $300. I need under $300.

Got it! Here’s another great Montreal option you might like.Over your $300 budget

Message Mira…

Over budget

## Quando as análises tradicionais ficam aquém

A maioria das ferramentas de análise foram criadas para cliques e visualizações das páginas, não para raciocínio e chamadas de ferramentas. Os agentes podem ter alucinações, ignorar instruções e desviar-se do caminho com confiança. Todos os utilizadores que passam tempo com o seu agente parecem igualmente envolvidos. Quem realmente o considerou útil e voltou?

## Vá além da observabilidade

Conheça o impacto dos seus agentes no produto e na receita.

Qualidade de IA

O que o agente fez

Resultados de produtos

O que o utilizador fez a seguir

01 Observe

Inspecione rastreios, perguntas, chamadas de ferramentas, respostas, latência e custo. O registo bruto do que o agente realmente fez.

02 Avalie

Classifique a qualidade, a intenção, a resolução e os modos de falha. Veja onde o agente ajuda, onde fica confuso e onde adiciona risco.

03 Decida

Vincule esses sinais de qualidade à conversão, retenção e receita. O agente realmente fez o utilizador avançar?

04 Implemente

Ajuste as perguntas, execute experiências, acione guias e personalize o próximo passo com base no que aprendeu.

TraceRaw spans

Turn 1claude-sonnet · 8 spans

System prompt

User prompt

llm\_completion

Tool calls

search

query\_charts

query\_dataset

llm\_completion

session\_end

EventsAs Amplitude events

Turn 18 events · claude-sonnet

Session Started\[Agent]model claude-sonnet

Prompt Received\[Agent]get\_started\_checklist

Completion Generated\[Agent]412.3k tokens · 4.7s

Search Run\[Tool]3 results · 230ms

Charts Queried\[Tool]200 · 932ms

Dataset Queried\[Tool]200 · 1.5s

Response Sent\[Agent]25.0s elapsed

Session Ended\[Session]cost $0.24 · 33.5s

## As interações dos traces passam automaticamente a ser eventos da Amplitude

Cada mensagem do utilizador, cada chamada de ferramenta e cada resposta do agente torna-se um evento da Amplitude, com o mesmo user\_id dos restantes dados do seu produto. Ao contrário das ferramentas de observabilidade que se ficam pelo trace, o Agent Analytics decompõe estas conversas em eventos, tornando-as diretamente consultáveis nos mesmos funis, coortes e análises de retenção que já utiliza.

## As perguntas a que pode finalmente responder

Com rastreios, avaliações e eventos de produto num só lugar, as análises que antes estavam fora de alcance tornam-se rotineiras.

01

A atualização do nosso modelo aumentou a conversão de registos esta semana ou prejudicou-a?

02

Qual é o delta de conversão quando o agente responde corretamente em comparação com quando alucina?

03

Que tópicos do agente se correlacionam com a intenção de expansão e quais se correlacionam com o risco de abandono?

## O modelo de maturidade da Análise de agente

A maioria das ferramentas de observabilidade ficam pelos níveis mais baixos de maturidade. A Análise de agente leva ao topo, associando a qualidade da IA ao percurso do utilizador e à receita.

L4Atribuição de receitas

Qual é o valor da IA em dólares?

L4Atribuição de receitasQual é o valor da IA em dólares?

L3Análise de comportamentos

Como afeta a utilização da IA a jornada do utilizador?

L3Análise de comportamentosComo afeta a utilização da IA a jornada do utilizador?

L2Inteligência semântica

O que está o agente realmente a fazer?

L2Inteligência semânticaO que está o agente realmente a fazer?

L1Avaliações e afirmações

O agente fê-lo corretamente?

L1Avaliações e afirmaçõesO agente fê-lo corretamente?

L0Rastreio e telemetria

Posso ver o que aconteceu?

L0Rastreio e telemetriaPosso ver o que aconteceu?

## Dentro do Agent Analytics

As execuções de produção surpreendem as equipas com perguntas para as quais nunca prepararam o modelo. Leia o prompt do utilizador, a resposta do agente, as ferramentas que chamou e o contexto que extraiu e depois aceda diretamente à Gravação de sessões para ver o que correu mal.

chamadas de ferramentasversões de comandosrecuperação de contextoir para a gravação

modelosbaseados em códigollm-as-judgealertas de regressão

sucesso da tarefatipo de falhaproblema de chamada de ferramentafiltros de coorte

custolatênciataxa de errocomparação de modelos

etiquetasnotasclasses de tópicospor conjunto de dados

por modelopor superfíciepor segmento de utilizadorfatia repetível

Rastreios

P

ie53jmbua0

5h ago

User activityFind similar sessionsAdd to dataset1 of 12

I need a 3-row SUV under $45k with top safety ratings. What should I look at?

May 27 · 3:22 PM

Searched inventory · 3-row SUVs within 40 mi

One financing quote timed out, but inventory and trim data came back clean. Three cars fit your budget and safety bar:

- **Best match:** 2024 Kia Telluride EX — $43,190, IIHS Top Safety Pick+
- **Runner-up:** 2024 Honda Pilot EX-L — $44,700, seats 8
- **Watch out:** the Highlander XLE clears $46,800 once you add all-wheel drive

Two Tellurides are in stock at Northgate Kia. Want me to book a test drive this weekend?

$0.42 · 3:22:48 PM

Yes — book the Telluride test drive for Saturday morning.

3:23 PM

Turn 1412.3k / 1.1k$0.2433.5s

System prompt412.3k / 1.1k\~$0.2433.5s

User prompt

Tool calls31 error31.2s

search200230ms

query\_charts200932ms

query\_dataset50030.0s

Tool call failed — request timed out

tool\_name str "query\_dataset"

tool\_input obj 2 fields

dataset\_id str "ds\_checkout\_fnl"

query str "checkout\_completion\_by\_platform"

tool\_output obj 2 fields

error str "Dataset query timed out after 30s"

code num 500

tool\_success bool false

component\_type str "tool"

llm\_completion412.3k / 1.1k\~$0.2433.5s

session\_end

Turn 238.1k / 0.4k$0.056.2s

Avaliadores

### Evaluators

BETA

Give FeedbackNew Evaluator

Suggested for you

Detect when responses cite unsupported facts

BinaryUngrounded Claim

Create evaluator

Did the agent successfully complete the user's task?

CategoricalTask Completion

Create evaluator

Rate the quality of the agent's tool selection

ScoreTool Selection Quality

Create evaluator

Cluster reasons users abandon the checkout flow

CategoricalCheckout Abandon Cause

Create evaluator

Search Evaluators…Status

StatusEvaluatorVersionOutputLabelsRun onAgentsUpdated

ActiveTool Use QualityV1Score13All SessionsSales Copilot2h ago

ActiveSufficient Evidence (Qual & Quant)V1CategoricalSufficientInsufficientAll SessionsSales Copilot+18d ago

ActiveAgent Error TypesV1CategoricalUnderspecified+29All SessionsSupport Copilot+622d ago

ActiveAction OffersV1BinaryYesNoAll SessionsAny Agent33d ago

ActiveFailure ReasonsV1CategoricalIntegration Error+6All SessionsAny Agent46d ago

ActiveIntent TopicsV1CategoricalData AnalysisChart Creation+6All SessionsAny Agent46d ago

ActiveMemory RecallV1BinaryYesNoAll SessionsAny Agent47d ago

ActiveUser FrictionV2CategoricalRepeated QuestionConfusion+2All SessionsSupport Copilot69d ago

DraftIntent ClassifierV1CategoricalData AnalysisChart Creation+2All SessionsAny Agent54m ago

DraftResponse ToneV1CategoricalValid TimestampInvalid TimestampAll SessionsAny Agent1h ago

DraftSafety CheckV1BinaryYesNoAll SessionsAny Agent1h ago

DraftPII DetectionV1BinaryYesNoAll SessionsAny Agent1h ago

ActiveV1×

Tool Use Quality

ScoreSales Copilot

Description

Grades every matching session for **Tool Use Quality** and writes the verdict back to the session as a property — available in charts, segments, and exports.

Grading prompt

Edit

Rate the assistant on “Tool Use Quality” from 1 (poor) to 5 (excellent).\
5 — fully correct, efficient, and well-justified\
3 — partially correct or with minor issues\
1 — incorrect, unsafe, or off-task\
Weigh tool selection and reasoning, not just the final answer.

Label distribution · last 30 days

523.2%

418.8%

318.8%

214.5%

114.5%

010.1%

Configuration

OutputScore

VersionV1

Run onAll Sessions

AgentsSales Copilot

ScheduleHourly

Last updated2h ago

Edit EvaluatorRun on Dataset

Filtragem semântica

Last 30 days1Search sessions…⋮

EvaluationSessionMemberAssistant

Complete\[tool\_call] check\_in4426e793e-2516-4cae-b05d-b7e2c1e03863FitForge-Assistant

Complete\[tool\_call] book\_class331fe4d3f-09b5-476a-96ba-4803ad08c568FitForge-Assistant

Complete\[tool\_call] get\_schedule990a2be38-6432-4d34-a375-94ed6ddde0d9FitForge-Assistant

Complete\[tool\_call] query\_attendanceCc1b6185a-3cf3-4285-a982-a2a3babfe816FitForge-Assistant

Complete\[tool\_call] get\_member\_visits11b84ab29-e43d-47c9-a0d7-4645a406a141FitForge-Assistant

Complete\[tool\_call] searchDd8f74f9d-6df3-48d3-96a3-61d5f132c381FitForge-Assistant

CompleteYou're an ops manager reviewing member retention, and you want to…33d46ff1a-98e0-4341-b0fb-d786798ae202Insights

Complete\[tool\_call] book\_classFfb778b8f-aa91-4970-af69-79b4cb5d228bFitForge-Assistant

CompleteTop classes and locations this weekDd4f81d22-f9cf-4551-a1cd-95a3b8b58b9fMember Chat

Complete\[tool\_call] query\_attendance22d6d9fb0-bc12-47ba-affb-90310e37bbddFitForge-Assistant

CompleteCreate a report for: weekly check-ins by location for Q2 …00c6250db-3203-4cb5-98bf-54024294709fMember Chat

Complete\[tool\_call] get\_member\_visitsEee254dab-3712-4cd8-bcac-2f50b315b66cFitForge-Assistant

CompleteAnalyze churn patterns for members who cancelled in the last…Dd91d0428-1e5c-4835-ad0e-71b16c6556b9Member Chat

Completelet's compare peak-hour check-ins against class capacity at the …99079e931-c71c-4370-8082-55a0ee207093Member Chat

Complete\[tool\_call] save\_class\_edits330dc9b31-4b76-4a0c-bfab-e1826913fa04FitForge-Assistant

Evaluation Available

Assistant

Gym Location

Membership Tier

Tool

Has Tool Errors

Saved to profile

Agent failure reasons

Booking errors

Member intent topics

Offers a next step

Data completeness (…

Booking accuracy - …

Member friction

Data quality issues

Has negative feedb…

Response was helpful

Issue resolved

Account safety

Monitorização do desempenho

### Monitor

Last 30 daysChat AgentSearch…

Total Agents↑ 9.3%

118

vs. previous period

Total Sessions↑ 1576.1%

6,718,842

vs. previous period

Avg Response Latency↓ 6.1%

30.2s

vs. previous period

Daily Spend↑ 12.4%

$224

vs. previous period

Agent Adoption

Active users for Chat Agent

**76,483**↑ 95.6%

May 4May 11May 18May 25

Chat Agent

Agent Activity

Conversation volume for Chat Agent

⋯

Apr 30May 8May 16May 24

Chat Agent

Failure Rate

Errored sessions for Chat Agent

**2.4%**↓ 0.8%

May 4May 11May 18May 25

Failure rate

Daily Spend

Inference cost for Chat Agent

**$224**↑ 12.4%

May 4May 11May 18May 25

Daily spend

Revisão humana

FitForge · Member support set×

BackSession 1 of 4

Turn this into a line chart of weekly check-ins per location over the last 30 days.

Apr 10 · 5:51 PM

Finished working

Done. Here’s the median weekly check-ins per location over the last 30 days:

LocationAvg check-ins / wk

Downtown Flagship\~4,210

Riverside\~3,180

Northgate\~2,540

Harbor Point\~2,015

Westview\~1,760

Tech Campus\~1,455

Old Town\~1,120

Airport\~640

**Downtown Flagship** and **Riverside** stand out — they drive 2–3x the check-ins of every other location. Worth a closer look at staffing and class capacity there.

View chart →

$0.42 · Apr 10 · 5:52 PM

EvaluatorsInfoTraceReview

Response accuracy

AccuratePartially accurateInaccurate

Member friction

Repeated questionConfusionFrustrationNo friction

Resolved the request

YesNo

Member intent topic

Membership & BillingClass BookingPersonal TrainingCheck-in IssuesReporting & InsightsOther

Overall quality

1/32/33/3

Add Evaluator

Comments

Add a note...

Add Label

PreviousNext SessionPick the labels that fit this session. Your review saves automatically.

Conjuntos de dados

Hallucination Detector · Calibration

10 sessions · 30% reviewed · updated 30 minutes ago

Add sessionsHuman review×

10 sessions· 3 reviewedFilter

SessionReviewLabel

Is the 4.9% APR promo still active for new accounts?5h agoReviewedGrounded

Does my plan cover water damage from a burst pipe?6h agoReviewedHallucinated

What's the early-termination fee on a 12-month lease?8h agoReviewedGrounded

Can I transfer my deposit to a different unit?9h agoPending—

Are pets allowed if I pay the extra monthly fee?11h agoPending—

When does the renewal grace period end for my lease?13h agoPending—

Will my rent be prorated if I move in mid-month?1d agoPending—

Does breaking my lease affect my rewards balance?1d agoPending—

## Aperfeiçoámo-la para nós próprios

Lançámos agentes na Amplitude, deparámo-nos com os mesmos problemas que encontrou e, como resultado disso, criámos o Agent Analytics. Ouça os dados e as histórias da equipa por trás disso.

[Produto](/pt-pt/blog/agent-analytics)

[Porque criámos o Agent Analytics e por que razão todas as equipas de agentes precisam dela](/pt-pt/blog/agent-analytics)

[Criámos uma empresa de análise. Depois, criámos um agente e não conseguíamos ver nada. Eis como o corrigimos.](/pt-pt/blog/agent-analytics)

[Insights](/pt-pt/blog/the-eval-signal-that-predicts-3x-agent-retention)

[O sinal de avaliação que prevê 3x a retenção de agentes](/pt-pt/blog/the-eval-signal-that-predicts-3x-agent-retention)

[Usámos o Agent Analytics para compreender se os sinais de avaliação realmente preveem se os utilizadores regressam. O resultado surpreendeu-nos.](/pt-pt/blog/the-eval-signal-that-predicts-3x-agent-retention)

[Produto](/pt-pt/blog/eval-driven-development)

[Fazer sopa de pedra: desenvolvimento orientado por avaliação para análises com IA](/pt-pt/blog/eval-driven-development)

[Como as equipas de desenvolvimento, os clientes e os LLM contribuíram para automatizar os insights na Amplitude.](/pt-pt/blog/eval-driven-development)

[Ver mais](/pt-pt/blog/tag/amplitude-agent-analytics)

## Instrumente qualquer fornecedor de LLM

Wrappers nativos para os fornecedores que realmente usa. Uma ponte OpenTelemetry para o resto. Captura manual quando quiser controlo total.

your terminal

$

[Ler documentação](https://amplitude.com/docs/amplitude-ai/agent-analytics/overview)

Python e Node, SDK drop-in, ativo em minutos.

## Análises de conteúdo opcionais

Criada especificamente para lhe permitir controlar o que sai do seu ambiente.

TierWhat you sendWhat you get

Metadata OnlyTokens, cost, latency, behavioral signalsCost analytics, retention curves, funnel drop-off. No conversation content leaves your environment.

Customer EnrichedYour classification labelsFull topic and quality analytics. You run your own classifiers and send us the structured labels.

FullConversation contentAutomatic topic classification, quality scoring, and behavioral pattern detection.

Envie conversas completas, as suas próprias etiquetas ou apenas metadados. Mude de modo por agente ou por origem de evento.

O Agent Analytics está em versão beta

## Deixe de enviar com base em intuições

- Encontre os modos de falha que realmente lhe custam utilizadores.
- Avalie a conversão e a retenção por qualidade do agente.
- Ligue qualquer rastreio a gravações de sessões e experiências.

[Registe-se para obter acesso antecipado](#contact)

### Perguntas frequentes

###### O que é o Agent Analytics?

A camada de análise entre a observabilidade do LLM e a análise de produtos. Cada mensagem do utilizador, chamada da ferramenta, resposta do agente e fim da sessão torna-se um evento da Amplitude marcado com tópico, pontuação de qualidade e padrão comportamental, para que possa criar coortes, funis e curvas de retenção sobre a qualidade da sessão de IA.

###### Em que difere a Análise de agente de uma ferramenta de rastreamento?

As ferramentas de rastreio respondem a "O que fez o agente?" O Agent Analytics responde a "Funcionou para o utilizador?" Pode manter a sua ferramenta de rastreamento: o AmplitudeGenAIExporter adiciona a Amplitude como um segundo destino OpenTelemetry num registo de processador de intervalo.

###### Tenho de enviar conteúdo bruto de prompt e resposta?

Não. O SDK tem três modos de privacidade: metadata\_only (apenas tokens, latência, custo e sinais comportamentais), customer\_enriched (as suas próprias etiquetas, sem texto bruto) e full (enriquecimento gerido). A maioria das equipas começam com apenas metadados e sobrem de patamar à medida que a confiança aumenta.

###### Que linguagens e estruturas suportam?

Python no PyPI (pip install amplitude-ai) e Node.js / TypeScript no npm (npm install @amplitude/ai). Wrappers nativos para OpenAI, Anthropic, Gemini, Bedrock, Mistral e Azure OpenAI. Integrações de estrutura para LangChain, LlamaIndex, OpenAI Agents SDK, CrewAI e Claude Agent SDK. Tudo o que emita spans OpenTelemetry GenAI (OpenLIT, Traceloop e instrumentação OpenAI) flui através da ponte.

###### Como se encaixa a Gravação de sessões?

Cada evento de agente tem uma ID de gravação de sessão. A partir de qualquer sessão no explorador, a opção Ver gravação abre no momento em que a conversa começou, para que veja o agente falhar dentro do produto real que o utilizador estava a usar.

###### Como se liga isto ao Amplitude Experiment e aos Guias?

Cada evento contém a variante de experiência como uma propriedade, pelo que os testes A/B de prompt atribuem corretamente em conversas de várias interações. As pontuações de qualidade e os padrões comportamentais fluem para coortes que o Guides e o Activation visam em tempo real. O mesmo espaço de trabalho, o mesmo grafo de identidade.

## Uma nova era de análise

Desde uma visão geral do agente em tempo real a avaliações e conjuntos de dados, cada visualização associa o que o agente fez ao que o utilizador fez a seguir.

### Overview

Beta

Give FeedbackCreate chart

AgentChat AgentLast 30 days

Total Agents↑ 9.3%

118

vs. previous period

Total Sessions↑ 1576.1%

6,718,842

vs. previous period

Total Agent Users↑ 95.6%

76,483

vs. previous period

Avg Response Latency↓ 6.1%

30.2s

vs. previous period

Agent Activity

Conversation volume for Chat Agent

Apr 30May 2May 4May 6May 8May 10May 12May 14May 16May 18May 20May 22May 24May 26May 28

Chat Agent

Agent Adoption

Active users for Chat Agent

May 4May 11May 18May 25

Chat Agent

Agent Reliability

Sessions with technical failures for Chat Agent

May 4May 11May 18May 25

Chat Agent

Total LLM Spend

Daily LLM cost (USD) for Chat Agent

May 4May 11May 18May 25

Chat Agent

Response Latency

AI response time per turn for Chat Agent

May 4May 11May 18May 25

Chat Agent

User Intent

Chat Agent sessions by conversation intent

May 4May 11May 18May 25

Chat Agent

Session Issues

Chat Agent sessions with detected issues

May 4May 11May 18May 25

Chat Agent

### Evaluators

BETA

Give FeedbackNew Evaluator

Suggested for you

Detect when responses cite unsupported facts

BinaryUngrounded Claim

Create evaluator

Did the agent successfully complete the user's task?

CategoricalTask Completion

Create evaluator

Rate the quality of the agent's tool selection

ScoreTool Selection Quality

Create evaluator

Cluster reasons users abandon the checkout flow

CategoricalCheckout Abandon Cause

Create evaluator

Search Evaluators…Status

StatusEvaluatorVersionOutputLabelsRun onAgentsUpdated

ActiveTool Use QualityV1Score13All SessionsSales Copilot2h ago

ActiveSufficient Evidence (Qual & Quant)V1CategoricalSufficientInsufficientAll SessionsSales Copilot+18d ago

ActiveAgent Error TypesV1CategoricalUnderspecified+29All SessionsSupport Copilot+622d ago

ActiveAction OffersV1BinaryYesNoAll SessionsAny Agent33d ago

ActiveFailure ReasonsV1CategoricalIntegration Error+6All SessionsAny Agent46d ago

ActiveIntent TopicsV1CategoricalData AnalysisChart Creation+6All SessionsAny Agent46d ago

ActiveMemory RecallV1BinaryYesNoAll SessionsAny Agent47d ago

ActiveUser FrictionV2CategoricalRepeated QuestionConfusion+2All SessionsSupport Copilot69d ago

DraftIntent ClassifierV1CategoricalData AnalysisChart Creation+2All SessionsAny Agent54m ago

DraftResponse ToneV1CategoricalValid TimestampInvalid TimestampAll SessionsAny Agent1h ago

DraftSafety CheckV1BinaryYesNoAll SessionsAny Agent1h ago

DraftPII DetectionV1BinaryYesNoAll SessionsAny Agent1h ago

ActiveV1×

Tool Use Quality

ScoreSales Copilot

Description

Grades every matching session for **Tool Use Quality** and writes the verdict back to the session as a property — available in charts, segments, and exports.

Grading prompt

Edit

Rate the assistant on “Tool Use Quality” from 1 (poor) to 5 (excellent).\
5 — fully correct, efficient, and well-justified\
3 — partially correct or with minor issues\
1 — incorrect, unsafe, or off-task\
Weigh tool selection and reasoning, not just the final answer.

Label distribution · last 30 days

523.2%

418.8%

318.8%

214.5%

114.5%

010.1%

Configuration

OutputScore

VersionV1

Run onAll Sessions

AgentsSales Copilot

ScheduleHourly

Last updated2h ago

Edit EvaluatorRun on Dataset

### Datasets

Beta

Give FeedbackNew Dataset

Search Datasets…

Hallucination Detector · Calibration30 minutes ago

Curated sessions where the agent stated unsupported facts — used to tune the hallucination evaluator.

Sessions10Reviewed30%AgentsAnyAdd Sessions

Binary Classifier Benchmark1 hour ago

Balanced yes/no examples for stress-testing binary classifier accuracy and drift.

Sessions10Reviewed0%AgentsAnyAdd Sessions

Safety Signals Golden Set1 hour ago

Golden labels for safety and off-topic detection across high-risk conversations.

Sessions10Reviewed100%AgentsAnyAdd Sessions

Wrong-Info Detector Calibration1 hour ago

Edge cases of confidently-wrong answers, hand-reviewed for precision tuning.

Sessions20Reviewed15%AgentsAnyAdd Sessions

Intent Classifier Benchmark19 hours ago

Representative intents sampled across surfaces to benchmark the intent classifier.

Sessions10Reviewed10%AgentsAnyAdd Sessions

Evaluator Accuracy Suite19 hours ago

Held-out set measuring evaluator agreement against human reviewers.

Sessions10Reviewed0%AgentsAnyAdd Sessions

Quality Baseline Set19 hours ago

A stable quality baseline to catch regressions release over release.

Sessions10Reviewed100%AgentsAnyAdd Sessions

Session Classifier Benchmark20 hours ago

Multi-turn sessions labeled by outcome for the session classifier.

Sessions10Reviewed10%AgentsAnyAdd Sessions

Conversation Tagging Set20 hours ago

Conversations tagged by topic and sentiment for taxonomy coverage.

Sessions10Reviewed100%AgentsAnyAdd Sessions

### Sessions

ExportUpdate SDK

Suggested for you

Which users only engaged with our agent once?

Sessions per user = 1last 30d

Filter sessions

What are my agents' most common failure modes?

Clustered from 9.2k failed sessions

Filter sessions

What questions are being answered badly?

Quality score < 0.4last 30d

Filter sessions

How and why are users using the create\_theme tool?

create\_theme invocationslast 30d

Filter sessions

Last 30 daysSearch sessions…Filter

SessionUserAgentTagsWhen