Quando a IA chega ao limite do hardware atual
O desenvolvimento de modelos grandes deixou de se preocupar apenas com acurácia e começou a colidir com as limitações físicas dos chips. Do debate sobre GPUs e eficiência energética ao problema de monitorar aplicações de IA em produção, a semana mostrou três problemas centrais: o hardware precisa de um novo paradigma, o código 200 OK não é mais garantia de que o sistema está funcionando, e os agentes autônomos precisam de novas camadas de governança.
Nova arquitetura de computação
What If We Stopped Using GPUs? | YC Paper Club — 1h20m
O palestrante questiona a dependência de GPUs e aponta uma desaceleração na eficiência computacional. Para ele, a largura de banda de memória merece tanta atenção quanto o poder de processamento. A comparação com o cérebro humano, que consome cerca de 20 watts, ilustra a diferença de consumo energético entre sistemas biológicos e os computadores atuais.
O vídeo não pede o fim da IA. Ele aponta que a estagnação de gigaflops por joule nos últimos anos é um sinal de que precisamos de novos paradigmas de computação, talvez baseados em memórias não voláteis ou em arquiteturas diferentes das GPUs modernas.
O problema do 200 OK
Your LLM App Returned 200 OK. It Was Still Wrong. — Datadog — 18min00s
Marina Petzel da Datadog mostra que as métricas tradicionais de observabilidade — latência, erros, tráfego, saturação — são insuficientes para aplicações de IA generativa. O hook do título — um servidor respondendo 200 OK mas com resposta errada — é um exemplo clássico: o cliente não sabe se recebeu algo útil ou se recebeu uma alucinação.
O mesmo pedido pode gerar respostas diferentes a cada execução; por isso, testes de regressão convencionais não bastam sozinhos. O custo varia com o uso de tokens. Petzel propõe complementar as métricas clássicas com monitoramento de custos, qualidade das respostas e riscos como injeção de instruções e vazamento de dados pessoais.
SRE com IA e fronteiras para agentes
A combinação dos vídeos sobre SRE e microVMs mostra como a engenharia de software precisa se redefinir quando agentes autônomos entram em produção.
The 5 Levels of Self-Driving Production — Eric Schwartz, Traversal — 18min33s
Eric Schwartz explica que o desenvolvimento de software está ficando mais rápido graças à IA, mas o diagnóstico de problemas consome cada vez mais tempo. Ferramentas tradicionais de observabilidade mostram sintomas, mas nem sempre identificam a causa. Ele espera que a automação libere tempo dos engenheiros para projetar sistemas; descreve isso como objetivo, não como resultado já alcançado.
YOLO Mode, Safely: MicroVM Sandboxes for Any Agent — Docker — 11min35s
Rowan Christmas, da Docker, mostra por que instruções e controles no programa que aciona o agente não bastam para proteger a máquina hospedeira. Ele demonstra como as microVMs Docker Sandboxes separam o agente da máquina com kernel e sistema de arquivos próprios, políticas configuráveis de rede e uma trilha de auditoria.
A diferença entre SRE com IA e microVMs é onde cada ferramenta opera: SRE é sobre monitorar e corrigir problemas em sistemas que já estão rodando; microVMs são sobre criar limites que impedem agentes de causar danos antes que os problemas apareçam.
O futuro de aplicações de IA em produção não é apenas mais modelos ou mais tokens. É uma combinação de novos paradigmas de computação, monitoramento específico para qualidade em tempo real, e fronteiras claras que permitam autonomia sem comprometer a segurança.