É fácil mostrar um agente escrevendo código. Bem menos fácil é mostrar que a alteração passou por uma boa revisão, resolveu o problema e não criou outro. Os vídeos desta seleção chegam a esse ponto por caminhos diferentes: o tempo gasto para conferir código e as formas de testar agentes antes de confiar no resultado.
Escrever mais não encerra a tarefa
O pesadelo do Code Review: IA vs. Produtividade (Havard mediu 718 empresas) · Pasqua Dev · 17min21s
Pasqua Dev parte de uma situação conhecida: um protótipo aparece em minutos, mas a entrega ainda depende de revisão e integração. Ele comenta uma pesquisa de Fiona Chen e James Stratton com dados de 718 empresas. Após a adoção de agentes de programação, os pesquisadores estimam aumento de 30% nas linhas de código adicionadas por engenheiro por mês e de 49% no tempo entre a abertura de uma proposta de alteração e sua integração, em relação aos respectivos valores anteriores. Já o efeito estimado sobre tarefas concluídas no Jira é pequeno e não é estatisticamente significativo. O estudo não encontrou ganho equivalente em software entregue.
How to Build an AI Code Review Agent - Daksh Gupta, Greptile · AI Engineer · 18min27s
Daksh Gupta entra no que um revisor automatizado precisaria fazer para ajudar de verdade. Na proposta dele, o agente consulta o contexto do repositório, executa o código num ambiente isolado e é testado contra alterações antigas que provocaram incidentes. Há também um cuidado menos vistoso: pedir que o revisor procure erros relevantes, em vez de encher cada alteração de comentários pedantes. Encontrar um defeito é útil; não encontrar nenhum não prova que o código esteja correto.
Testar o efeito, não a resposta bonita
How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI · AI Engineer · 56min01s
Xander Song mostra tarefas executadas em ambientes isolados, com dados pertinentes ao caso e verificações feitas depois da execução. O teste olha para a mudança produzida pelo agente, não apenas para a justificativa que ele escreveu. Repetir a mesma tarefa também importa: uma execução feliz pode esconder um comportamento instável. É uma resposta prática ao problema que aparece nos vídeos de revisão: como saber se uma mudança melhorou alguma coisa?
Agents That Self Improve While You Sleep - Fuad Ali, Arize AI · AI Engineer · 53min04s
Fuad Ali apresenta uma demonstração com um defeito inserido num agente de compras: buscas repetidas aumentam a latência. O fluxo usa rastros de execução para identificar a falha, criar um teste e experimentar uma correção. Na demonstração, uma pessoa revisa os resultados e decide se incorpora a mudança; Ali diz que a integração automática também é possível. O exemplo preparado não demonstra que agentes em produção já se consertem sozinhos enquanto ninguém olha.
Quanto mais barata fica a geração de código, mais vale saber o que foi conferido antes de aceitar o resultado.