Noam Shazeer — o engenheiro que escreveu a arquitetura da IA que você usa

"My best guess is divine benevolence. [...] Nobody really understands what's going on." — Noam Shazeer, sobre por que os grandes modelos de linguagem funcionam (entrevista, citada na Wikipedia)

O essencial em 30 segundos

Se Alan Turing é o pai conceitual da inteligência artificial, Noam Shazeer é um dos engenheiros que escreveu a arquitetura concreta que faz a IA de hoje funcionar. Ele é um dos oito autores de Attention Is All You Need (2017), o artigo que introduziu o Transformer — a arquitetura por trás de praticamente todos os grandes modelos de linguagem que existem: ChatGPT, Gemini, Claude, todos descendem dela. Não fosse o bastante, Shazeer também é peça central do mixture of experts moderno, a técnica que permite treinar modelos gigantescos sem que o custo de computação exploda. Depois disso, fundou a Character.AI (2021), uma das primeiras empresas de companheiros de IA conversacional em escala, e em 2024 voltou ao Google para co-liderar o Gemini, num acordo de cerca de 2,7 bilhões de dólares que o mercado apelidou de "acqui-hire" — comprar a empresa, na prática, para recontratar o talento.

Para quem opera negócios que dependem de LLMs, Shazeer importa por uma razão muito prática: entender o Transformer é entender o que esses modelos podem e não podem fazer. As alucinações, o limite de contexto, o custo por token, a razão de eles serem ótimos em texto e estranhos em aritmética — tudo isso decorre da arquitetura que ele ajudou a desenhar. Quem trata o LLM como caixa-preta mágica é refém do hype. Quem entende a engenharia compra melhor.

Quem é

Noam Shazeer nasceu em 1975 ou 1976 (as fontes divergem em um ano). Graduou-se em matemática e ciência da computação na Duke University, formando-se em 1998. Entrou no Google em 2000, ainda nos primórdios da empresa, e ali fez carreira longa de engenheiro de elite. Uma de suas primeiras contribuições notáveis foi melhorar o corretor ortográfico da busca do Google — o tipo de problema de processamento de linguagem que define quem tem talento de verdade para a área.

Ao longo dos anos 2010, Shazeer esteve no centro do braço de pesquisa do Google que reinventaria a IA. Em 2017, foi um dos lead authors de Attention Is All You Need. Os oito autores foram listados em ordem aleatória, porque todos contribuíram de forma equivalente: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser e Illia Polosukhin. No mesmo período, com o colega Daniel de Freitas, construiu o Meena — um chatbot conversacional impressionante para a época, que evoluiria internamente para o que o Google chamaria de LaMDA.

E aqui está o ponto de virada. O Google, cauteloso com riscos de reputação, recusou-se a liberar o chatbot ao público. Shazeer e De Freitas, frustrados, deixaram a empresa em 2021 para fundar a Character.AI, justamente para colocar IA conversacional nas mãos das pessoas. A Character.AI virou um fenômeno — milhões de usuários conversando com personagens de IA, com tempos de sessão que rivalizavam com redes sociais. Em 2024, num daqueles movimentos que só acontecem quando o talento vale mais que a empresa, o Google fez um acordo de cerca de 2,7 bilhões de dólares para licenciar a tecnologia da Character.AI e trazer Shazeer de volta. Em agosto de 2024, ele assumiu como co-líder do projeto Gemini, ao lado de Jeff Dean e Oriol Vinyals. Em 2023, a revista Time o incluiu entre as 100 pessoas mais influentes em IA.

A grande contribuição

A grande contribuição é o Transformer, e ela merece ser entendida, não apenas citada.

Antes de 2017, modelos de linguagem processavam texto sequencialmente — palavra por palavra, em ordem, como você lê uma frase. Isso era lento (não dá para paralelizar) e frágil para dependências longas: a palavra no fim do parágrafo "esquecia" o que estava no começo. O Transformer jogou fora a sequencialidade e apostou tudo num único mecanismo: a atenção (attention). A ideia é que, para entender uma palavra, o modelo olha para todas as outras palavras ao mesmo tempo e pesa quais são relevantes. Em "o cachorro não atravessou a rua porque ele estava cansado", o mecanismo de atenção é o que conecta "ele" a "cachorro" e não a "rua". O título provocador — Attention Is All You Need, "atenção é tudo de que você precisa" — anuncia a tese: descartaram toda a maquinaria anterior e ficaram só com a atenção.

Por que isso mudou o mundo? Porque a atenção é paralelizável. Você pode processar a frase inteira de uma vez, o que significa treinar em GPUs em escala massiva. Isso destravou a era do "quanto maior, melhor": mais dados, mais parâmetros, mais computação, e o desempenho continuava subindo de forma previsível. Todo LLM moderno é, no fundo, um Transformer muito grande treinado em muito texto. Shazeer não fez isso sozinho — eram oito — mas sua marca na engenharia da coisa é profunda.

E há a segunda contribuição, menos famosa fora do meio técnico, mas igualmente decisiva: o mixture of experts esparso (sparsely-gated mixture of experts, 2017), com Shazeer como autor principal junto de nomes como Geoffrey Hinton, Quoc Le e Jeff Dean. A ideia: em vez de um modelo monolítico em que todo neurônio trabalha em toda entrada, você tem muitos "especialistas" e uma rede de roteamento que, para cada entrada, ativa só alguns. É como ter um hospital com mil especialistas em vez de um clínico que finge saber tudo — o paciente vai só aos relevantes. Isso permite modelos com bilhões ou trilhões de parâmetros sem que o custo de computação por consulta exploda na mesma proporção. O trabalho posterior do GShard (2020), também com Shazeer, levou isso a modelos de 600 bilhões de parâmetros. O MoE é hoje a espinha dorsal de muitos dos maiores modelos em produção.

As ideias-chave

1. Atenção: relevância em vez de ordem

A intuição central do Transformer é que o significado vem de relações, não de posição. Cada palavra "pergunta" às outras quão relevantes são para ela e monta seu significado a partir das respostas mais fortes. Para o operador, isso explica por que LLMs são tão bons em capturar contexto e tão ruins em coisas que dependem de ordem precisa ou contagem exata. Eles ponderam relevância; não executam um algoritmo passo a passo. Quando seu agente de IA erra uma soma simples ou perde o fio numa instrução de dez etapas, não é bug — é a natureza da arquitetura.

2. Escala como estratégia

O Transformer destravou a descoberta de que, com a arquitetura certa, jogar mais escala funciona de forma previsível. Por anos, mais dados e mais parâmetros renderam mais capacidade. Isso tem uma consequência econômica direta no portfólio: capacidade de IA virou função de capital e computação. Quem tem mais GPU treina modelos melhores. Como operador, isso me diz que não vou competir construindo modelo de fundação — vou competir na aplicação da camada que os gigantes treinam.

3. Mixture of experts: capacidade sem custo proporcional

O MoE separa duas coisas que pareciam coladas: o tamanho do modelo (quanto conhecimento ele guarda) e o custo de usá-lo (quanto computa por consulta). Ativando só alguns especialistas por entrada, você tem um modelo enorme que custa como um pequeno na inferência. Para quem paga a conta por token, isso é a diferença entre uma feature de IA viável e uma que quebra a margem. Entender que os modelos modernos são esparsos ajuda a ler os preços dos fornecedores e a prever para onde o custo vai.

4. "Ninguém entende direito por que funciona"

Shazeer é desarmadoramente honesto sobre os limites do conhecimento do próprio campo. Perguntado por que os LLMs funcionam, respondeu que seu melhor palpite é "benevolência divina" e que "ninguém realmente entende o que está acontecendo", comparando o estado da arte à alquimia ou à química medieval. Vindo de um dos arquitetos da tecnologia, isso é um aviso: trata-se de uma ciência empírica, não de uma engenharia previsível em todos os aspectos. Quem vende "IA explicável e garantida" para tudo está exagerando — o próprio inventor admite que opera por experimentação.

5. O talento como ativo escasso

A volta de Shazeer ao Google por ~2,7 bilhões de dólares é um dado sobre o setor, não fofoca. O acordo precificou um punhado de cérebros acima de produtos e receitas. Para qualquer operador, a lição é dura e clara: em IA, a vantagem competitiva mora nas pessoas que sabem desenhar e treinar esses sistemas, e elas são raríssimas. Isso muda como você pensa contratação, retenção e parcerias.

Em suas palavras

"My best guess is divine benevolence. [...] Nobody really understands what's going on." — sobre por que os LLMs funcionam (citado na Wikipedia)

"[I don't] particularly care about AGI in the sense of wanting something that can do absolutely everything a person can do." — sobre inteligência artificial geral (citado na Wikipedia)

"No. Not yet. [...] We're going to work on it as the technology improves." — perguntado, em 2023, se temia que a AGI destruísse o mundo (citado na Wikipedia)

"This is a very experimental science [...] It's more like alchemy or whatever chemistry was in the Middle Ages." — sobre o estado do campo (citado na Wikipedia)

Limites e críticas

A primeira crítica é à própria arquitetura: o Transformer escala mal em uma dimensão crucial. O custo da atenção cresce com o quadrado do tamanho do contexto — dobrar o texto de entrada mais que dobra o custo. É por isso que janelas de contexto longas são caras e que há uma indústria inteira tentando contornar essa limitação. Quando seu fornecedor cobra mais por contextos grandes, é a matemática do Transformer aparecendo na fatura.

A segunda é ética e diz respeito mais à Character.AI do que à pesquisa. Companheiros de IA conversacional levantam questões sérias sobre dependência emocional, especialmente entre usuários jovens, e a empresa enfrentou críticas e processos relacionados a danos a usuários. A mesma tecnologia que encanta também vicia e pode prejudicar. O operador que pensa em produtos conversacionais precisa carregar essa responsabilidade desde o desenho, não como remendo depois.

A terceira é sobre a narrativa do "gênio individual". O Transformer teve oito autores que contribuíram igualmente; o MoE moderno tem genealogia que remonta a trabalhos dos anos 1990. Atribuir a uma só pessoa o que foi feito por equipes e décadas distorce como o progresso realmente acontece. Shazeer é extraordinário, mas a IA moderna é um fenômeno coletivo — e tratá-la como obra de heróis solitários leva a contratar errado e a expectativas irreais.

E há a crítica do próprio Shazeer voltada contra o otimismo do setor: se nem os criadores entendem direito por que funciona, qualquer promessa de controle total, alinhamento garantido ou previsibilidade completa deve ser lida com ceticismo. A honestidade dele é, ela mesma, uma crítica ao marketing da indústria.

Como aplicar no seu dia a dia

Shazeer dá o mapa da máquina que você está comprando.

Primeiro — saber o que o LLM pode e não pode. Entender que o Transformer pondera relevância em vez de executar algoritmos poupa você de pedir a coisa errada. Num produto com agentes de IA, não confie o cálculo de folha ou métricas críticas ao LLM — isso vai para código determinístico. O LLM faz o que ele faz bem: interpretar linguagem, resumir, recomendar em texto. Casar a tarefa à arquitetura é metade do sucesso de um produto de IA.

Segundo — ler o custo pela arquitetura. Saber que a atenção é quadrática no contexto e que os modelos grandes são esparsos (MoE) deixa você prever a estrutura de preços dos fornecedores. Quando desenhar uma feature, minimize contexto desnecessário e escolha o modelo do tamanho certo para a tarefa, não o maior por vaidade. Isso protege a margem em qualquer operação onde cada consulta de IA tem custo real.

Terceiro — humildade empírica. Se Shazeer diz que é "alquimia", não compre garantias de comportamento determinístico de IA. Trate todo agente como sistema que precisa de teste contínuo, monitoramento e rede de segurança humana. A postura é experimental: medir, ajustar, medir de novo — exatamente como o campo opera.

Quarto — talento é o ativo. O acqui-hire bilionário lembra que, em IA, a competência mora nas pessoas. Numa empresa, isso vira prioridade em atrair e reter quem realmente entende esses sistemas, e em construir parcerias com quem detém o talento que não dá para internalizar. Você não compete treinando modelos de fundação; compete sabendo aplicá-los melhor que o concorrente — e isso é uma decisão sobre gente, não sobre máquina.

Para ir além

Comece por: o artigo Attention Is All You Need (2017), disponível no arXiv. Mesmo sem a matemática, leia a introdução e veja a tese central. Complemente com explicações visuais do Transformer (o gênero "The Illustrated Transformer" é excelente para intuição).

Depois: o artigo Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (2017), de Shazeer e colegas, para entender o MoE na origem. E entrevistas recentes de Shazeer em podcasts do setor, onde ele fala com franqueza sobre o estado da IA.

Avançado: GShard (2020) para o MoE em escala extrema, e a literatura sobre limitações do Transformer (custo quadrático, alternativas como modelos de espaço de estados) para entender para onde a arquitetura está indo depois dele.

Conexões no vault

• IA e Tecnologia — Shazeer é o nó da arquitetura concreta dos LLMs que uso hoje.
• Pensamento — a postura empírica ("é alquimia, meça e ajuste") é transferível a qualquer decisão sob incerteza.
• Alan Turing — de Turing (o que é computável, o que é imitação) a Shazeer (a engenharia que faz as máquinas conversarem): o arco da IA do conceito à máquina real.