Um agente pode dar uma resposta convincente e ainda falhar no que importa: usar um documento que o usuário não podia ver, ou piorar depois de uma mudança de instrução. As três palestras desta seleção chegam a esse problema por caminhos diferentes. Uma olha para o trabalho de engenharia, outra mostra como começar a medir qualidade, e a terceira põe as permissões de acesso no centro da busca.
Medir antes de confiar
What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI · AI Engineer · 15min27s
Aparna Dhinakaran propõe que o engenheiro de IA cuide do ciclo completo: construir, avaliar, acompanhar o uso e corrigir problemas. Na apresentação, ela mostra um agente da Arize que lê registros de execução, procura padrões e pode propor uma alteração no código. O ponto menos vistoso é também o mais trabalhoso: comparar avaliações automáticas com julgamentos humanos antes de confiar nelas.
How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI · AI Engineer · 35min19s
SallyAnn DeLucia desce ao caso concreto com um agente que planeja viagens. Em vez de perguntar se a resposta “parece boa”, ela examina os registros das etapas do agente e transforma expectativas em critérios, como responder às perguntas do usuário e respeitar o orçamento informado. A oficina usa outro modelo para julgar parte dessas respostas. Isso ajuda a comparar versões, mas a avaliação do juiz precisa ser conferida com exemplos e com o julgamento de pessoas.
Buscar sem atravessar permissões
Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer · AI Engineer · 17min56s
Aaron Linsky e Nikhil Benesch tratam de uma condição que costuma ficar fora da demonstração: cada pessoa pode ter acesso a um conjunto diferente de documentos. Buscar os resultados mais próximos e só depois descartar os proibidos pode deixar de fora justamente um documento relevante e autorizado. Eles descrevem uma busca que considera as permissões durante a seleção dos grupos de documentos e depois procura dentro deles. É uma solução apresentada pelos próprios participantes, não uma garantia de que qualquer implantação esteja protegida.
Avaliar a resposta exige saber tanto como ela foi produzida quanto quais dados o agente tinha direito de consultar.