Um agente atende quase todas as conversas sem pedir ajuda. Outro encaminha parte delas a uma pessoa. Se a equipe medir apenas quantos atendimentos foram encerrados sem intervenção humana, vai premiar o primeiro, mesmo que ele esteja tomando decisões ruins. Os vídeos de hoje ajudam a separar velocidade, execução e acerto. Duas notas anteriores sobre observabilidade e limites de automação dão o contraponto.

A decisão também precisa saber parar

Testei o Jev com 34 comentários reais: 4,5x mais rápido que o Claude · Pasqua Dev · 25min09s

Pasqua Dev testa o Jev na classificação de comentários e encontra casos em que ele discorda do Claude. O detalhe útil não é a comparação de velocidade anunciada no título: a transcrição tem ambiguidades sobre esse número e o conjunto de exemplos é pequeno. É a possibilidade de obter uma resposta estruturada com uma medida de confiança e definir quando o sistema deve se abster. Formato correto não garante classificação correta.

O Hush, citado em uma nota anterior, aplica essa ideia à triagem de questões no GitHub: configura limiares por categoria e deixa de atribuir um rótulo quando não alcança a confiança exigida. A própria documentação do projeto o apresenta como uma aplicação do Jev. A utilidade está em tornar a recusa uma opção explícita da automação, sujeita a testes de calibração.

Encaminhar pode ser o resultado certo

Containment Is Lying to You: Measuring AI Agents Like Employees · AI Engineer · 22min00s

A Druid AI descreve um atendimento bancário em que um agente responde à pergunta de um cliente sobre a quitação antecipada de uma hipoteca e encaminha o contexto a um bancário. Um painel que conta somente conversas resolvidas sem encaminhamento registra isso como desempenho inferior. Para o negócio, porém, o encaminhamento foi previsto: a pergunta pode abrir uma conversa sobre refinanciamento. É um exemplo apresentado pela própria fornecedora, não uma comparação independente entre agentes.

A nota anterior sobre a apresentação da Datadog chega ao mesmo problema por outro caminho: receber HTTP 200 não diz se a resposta de uma aplicação com modelo de linguagem está certa. A equipe precisa definir antes o que conta como resultado bom, inclusive os casos em que uma pessoa deve assumir a tarefa, e avaliar respostas reais ao longo do tempo.

Dar um computador ao agente muda o risco

The Autonomous Computer: Infrastructure for Computer Use Agents · AI Engineer · 1h12min59s

Ang Li apresenta agentes que operam um computador com tela, mouse e teclado, inclusive aplicações sem interface de programação. A combinação de percepção visual com geração de código amplia o que o agente consegue fazer. Também amplia o que pode dar errado: uma instrução equivocada pode agir sobre arquivos, sessões e aplicações abertas.

Em uma apresentação da Docker retomada de uma nota anterior, o isolamento em máquinas virtuais leves aparece como resposta para agentes que executam código. É uma peça da solução, não um substituto para limitar permissões, registrar ações e medir resultados. O teste mais revelador talvez seja observar o momento em que o agente decide não prosseguir sozinho.

Automatizar bem inclui reconhecer quando entregar a tarefa a uma pessoa.