Os três vídeos desta rodada atacam o mesmo problema por ângulos diferentes: recuperar informação em escala. Um mostra a infraestrutura que aguenta bilhões de documentos jurídicos sem virar pó. Os outros dois discutem se a busca tradicional, incluindo o velho chunking, sobrevive à era dos agentes. As respostas divergem, e é aí que fica interessante.

A infraestrutura que sustenta bilhões de documentos

Connect AI to Billions of Legal Documents · AI Engineer · 20min36s

Jacob Lauritzen (Legora) e Simon Eskildsen (turbopuffer) explicam como uma plataforma colaborativa de IA para o jurídico lida com dois mundos ao mesmo tempo: busca dentro do projeto, sobre contratos internos que chegam a centenas de milhares de documentos, e pesquisa jurídica de verdade, sobre leis e precedentes em bilhões de registros.

A trajetória da infraestrutura é o melhor pedaço. Começou com um único cluster Elasticsearch. A conformidade regional (EUA, UE, Austrália) forçou a replicação em múltiplos clusters por região. Depois, grandes bancos e corporações exigiram isolamento físico total dos dados, o que levou a mais uma iteração da arquitetura. Chama atenção como a conformidade, e não a performance, foi quem desenhou o sistema. Quem trabalha com dados sensíveis reconhece o padrão: o gargalo raramente é técnico.

Agente que aprende a buscar ou pipeline bem segmentado?

Where RL Will Take Search · AI Engineer · 9min36s

Maximilian-David Rumpf, CEO da SID.ai, aposta que reinforcement learning puro vai substituir os pipelines clássicos de busca. O diagnóstico dele é concreto: agentes de busca atuais gastam de 30% a 50% dos seus tokens só na etapa de pesquisa, e rodar esse estágio custa 100 a 1000 vezes mais (e demora minutos) em comparação com sistemas tradicionais. A proposta é treinar um sub-agente especializado em busca via RL, derrubando custo e latência para perto do convencional, com qualidade superior. Ele enxerga a mesma curva de visão computacional e xadrez: regras escritas por humanos, depois modelos locais otimizados, até chegar num modelo único treinado de ponta a ponta.

Stop Chunking Like It’s 2022 · AI Engineer · 18min01s

Yuval Belfer, da AI21 Labs, chega à conclusão oposta pelo mesmo caminho. Para ele, o chunking não morreu com o hype do agentic retrieval: o pré-processamento de dados continua crítico para escala e eficiência. O que envelheceu foi o tuning fino da etapa de recuperação. O exemplo das Copas do Mundo ilustra bem: perguntas agregadas do tipo “qual time ganhou mais Copas?” derretem abordagens puramente agenticas sobre dados não estruturados, porque viram varreduras caras do acervo inteiro. Dado bem segmentado evita isso.

As duas posições parecem contraditórias, mas acho que se encaixam. Se o RL de Rumpf funcionar, ele comprime exatamente a parte que Belfer considera obsoleta, o ajuste manual da recuperação. Nenhum dos dois promete fazer preparo de dados virar problema resolvido, e a indústria já tentou decretar a morte do RAG tantas vezes que a desconfiança é saudável.

A pergunta que fica é a de sempre nessa área: quanto do que chamamos de inteligência na recuperação vai virar peso de rede, e quanto continua sendo aquele trabalho invisível de arrumar a casa antes da visita.