Um agente pode escrever código melhor a cada versão do modelo. Isso não responde se ele consultou as fontes certas, se tinha permissão para agir ou se alguém conseguiria detectar um erro depois. Os vídeos desta edição olham para esses problemas em momentos diferentes: na escolha do modelo, na operação do agente e na decisão de deixá-lo trabalhar com menos supervisão.
Testar a troca no trabalho que importa
The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral · Pamela Fox / AI Engineer · 51min37s
Pamela Fox troca modelos nos mesmos exemplos para mostrar por que uma classificação geral não basta. Num teste de perguntas sobre abelhas, as fontes fornecidas descreviam apenas uma das espécies. Um modelo completou a resposta com informação de fora das fontes; mudar a instrução ajudou a identificar essa lacuna, mas não impediu inteiramente a informação extra. Em outro teste, reconhecer animais e ler preços numa imagem exigiu uma capacidade que ajustes no texto da instrução não compensaram. A oficina mostra comportamentos nesses exemplos, não estabelece uma ordem definitiva entre modelos.
O que fica ao redor do modelo
Is the Agent Harness Dead? · Jediah Katz / AI Engineer · 18min14s
Jediah Katz conta que sua equipe retirou instruções e mecanismos criados para contornar limitações de modelos anteriores em tarefas de programação. Sua conclusão não é abandonar a infraestrutura do agente. Alguém ainda precisa manter o estado de trabalhos longos, controlar o acesso a ferramentas e credenciais e acompanhar custo por tarefa. Para fluxos com vários agentes, ele descreve coordenação entre etapas e acionamento por eventos. O ganho de capacidade do modelo pode eliminar um remendo; não elimina essas responsabilidades operacionais.
Quando reduzir a supervisão
How to Know When an AI Agent Can Work Unsupervised · Evan Kormos / AI Engineer · 17min32s
Evan Kormos parte das regras da organização e desenha o processo com dependências e pontos de aprovação. Dentro de cada etapa, um agente pode tentar, receber retorno e refazer o trabalho; a passagem para a etapa seguinte depende de uma verificação. Ele propõe começar com revisão humana de todas as saídas, depois passar à revisão por amostragem conforme a qualidade medida alcance os limites definidos pela política. A etapa de menor supervisão ainda exige registros, avaliações e encaminhamento de exceções a pessoas. É uma proposta de implantação apresentada na palestra, não uma medição de sucesso na Coinbase.
Se a revisão humana diminuir, o critério para detectar erros precisa ficar mais claro, não mais vago.