Sholto Douglas e Trenton Bricken — o que acontece por dentro do modelo, e por que isso decide se você pode confiar nele

"Your model will learn a compression strategy that we call superposition so that it can pack more features of the world into it than it has parameters." — Trenton Bricken (Dwarkesh Podcast, "How to Build & Understand GPT-7's Mind")

O essencial em 30 segundos

A maior parte do debate público sobre IA acontece na superfície: benchmarks, demos, quem lançou o quê. Sholto Douglas e Trenton Bricken, dois pesquisadores da Anthropic que ficaram conhecidos pelas entrevistas longas no podcast do Dwarkesh Patel, trabalham um nível abaixo disso. Douglas estuda o que faz a capacidade dos modelos crescer — escalabilidade, aprendizado por reforço (RL) e até onde os agentes conseguem ir antes de quebrar. Bricken estuda o que está literalmente dentro dos pesos: como decompor uma rede neural em "features" interpretáveis, por que ela comprime mais conceitos do que tem dimensões (superposição) e como mapear os circuitos pelos quais um modelo de fato pensa.

Juntos, eles representam as duas perguntas que importam para qualquer operador que pensa em colocar um agente de IA em produção: até onde isso vai e como sei o que está acontecendo lá dentro. A tese que atravessa este post é simples e desconfortável: capacidade sem compreensão não é confiança. É aposta.

Quem são

Sholto Douglas tem uma trajetória que não cabe no estereótipo do pesquisador de IA. Formou-se em Engenharia Mecatrônica (com ênfase em sistemas espaciais) pela Universidade de Sydney, foi esgrimista de alto nível — chegou ao top mundial na modalidade — e entrou na área de IA havia relativamente pouco tempo quando começou a aparecer. Trabalhou no time do Gemini, no Google, antes de ir para a Anthropic, onde se dedica a escalar técnicas de aprendizado por reforço em modelos de linguagem, empurrando a fronteira de capacidade dos modelos agênticos. O que o distingue é a defesa explícita de "taste" — gosto, julgamento — como insumo de pesquisa: ele prefere entendimento mecanicista e simplicidade a truques específicos de domínio, numa homenagem direta à "amarga lição" de Richard Sutton, segundo a qual métodos gerais que escalam com computação acabam vencendo os métodos cheios de conhecimento humano embutido.

Trenton Bricken vem da fronteira entre neurociência, biologia computacional e machine learning. Antes da interpretabilidade de modelos de linguagem, escreveu sobre mecanismos de atenção no cérebro — uma origem que explica seu vocabulário: ele olha para um transformer como um neurocientista olharia para um córtex, perguntando quais "neurônios" representam o quê. Na Anthropic, integra a equipe de interpretabilidade mecanicista e é coautor de trabalhos centrais da área. É um dos primeiros nomes do paper Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (2023), publicado na Transformer Circuits Thread ao lado de pesquisadores como Adam Jermyn, Tom Conerly, Joshua Batson, Adly Templeton e Chris Olah — e seguiu contribuindo para o trabalho posterior de circuit tracing.

Vale o aviso metodológico: a biografia pessoal de ambos é relativamente escassa em fontes confiáveis, e eu prefiro não inventar. O que importa aqui — e o que é verificável — é a contribuição. É nela que vou ficar.

A grande contribuição

A contribuição combinada dos dois pode ser resumida como fechar a distância entre fazer o modelo funcionar e entender por que ele funciona.

Do lado de Douglas, a contribuição é uma leitura honesta de onde estão os gargalos reais do progresso. Não é falta de engenharia, e cada vez menos é falta de ideias brutas. Como ele coloca: "I think we are less, at the moment, bound by the sheer engineering work of making these things than we are by compute to run and get signal, and taste in terms of what the actual right thing to do is." Traduzindo o que isso significa na prática: o que limita o avanço é (1) computação suficiente para rodar experimentos e obter sinal e (2) julgamento sobre qual é a coisa certa a fazer. Os dois recursos são caros, e nenhum dos dois aparece num gráfico de benchmark.

Douglas também tem uma leitura clara do RL como o motor que tirou os modelos do registro "experimental" e os levou ao "demonstravelmente competente" em domínios difíceis — programação competitiva, matemática avançada — exatamente os domínios onde existe sinal verificável de acerto. Essa é a ponte para a era dos agentes: sistemas que não só respondem, mas executam tarefas longas, encadeadas, com autonomia.

Do lado de Bricken, a contribuição é dar uma resposta concreta a uma pergunta que parecia filosófica: é possível abrir a caixa-preta? A resposta da interpretabilidade mecanicista é "sim, parcialmente, e aqui está o método". Em vez de tratar o modelo como um oráculo opaco, o trabalho decompõe as ativações internas em features — direções no espaço de ativação que correspondem a conceitos — usando autoencoders esparsos (dictionary learning). É a diferença entre dizer "o paciente está vivo" e conseguir ler o eletrocardiograma.

As ideias-chave

1. Superposição: o modelo guarda mais mundo do que tem espaço

A ideia mais contraintuitiva de Bricken é a superposição. Nas palavras dele: "Your model will learn a compression strategy that we call superposition so that it can pack more features of the world into it than it has parameters." Um modelo precisa representar uma quantidade absurda de conceitos — "código Python", "tom sarcástico", "referência ao Golden Gate", "número de telefone" — e tem menos dimensões do que conceitos. A solução que a rede aprende sozinha é empacotar features sobrepostas, de forma que um mesmo neurônio participe de muitos conceitos e cada conceito se espalhe por muitos neurônios.

A consequência prática é que olhar para um neurônio isolado não te diz quase nada — ele é "polissemântico", responde a coisas sem relação aparente. Por isso o trabalho de interpretabilidade precisou de uma ferramenta para desfazer a superposição: extrair, do emaranhado, features monossemânticas que correspondam a um conceito cada. Para um operador, a lição é direta: a intuição de "vou inspecionar o que essa parte do modelo faz" é ingênua sem o ferramental certo. O sentido está distribuído, não localizado.

2. Dictionary learning e autoencoders esparsos: o microscópio

O método que destrava a superposição é o dictionary learning via autoencoders esparsos (SAEs). A ideia, formalizada no Towards Monosemanticity, é treinar uma rede auxiliar que aprende um "dicionário" de features e força que, para qualquer entrada, só algumas delas estejam ativas (esparsidade). O resultado, mesmo num transformer de uma camada, foi a extração de milhares de features interpretáveis — cada uma correspondendo a algo legível por um humano.

A analogia que uso é a do microscópio. Antes do microscópio, "infecção" era um conceito sem mecanismo. Depois, virou bactérias observáveis, contáveis, intervíveis. O dictionary learning é o microscópio dos modelos: não explica tudo, mas transforma "o modelo decidiu X" em "estas features se ativaram e influenciaram a saída". E features não são só observáveis — são manipuláveis. Amplificar artificialmente uma feature muda o comportamento do modelo de forma previsível, o que abre a porta para steering: dirigir o comportamento intervindo no interior, não só no prompt.

3. Circuits: do que o modelo representa para como ele calcula

Features são os substantivos. Circuits são os verbos. A pergunta seguinte da agenda de interpretabilidade — na qual Bricken aparece como coautor no trabalho de circuit tracing — é descrever os caminhos computacionais pelos quais features interagem para produzir um comportamento. Não basta saber que existe uma feature de "capital de país"; quero saber por qual sequência de operações o modelo vai de "Brasil" a "Brasília".

Mapear circuitos é o que aproxima a interpretabilidade de uma verdadeira engenharia reversa do raciocínio. É também onde mora a esperança de detectar coisas que nenhum teste de comportamento pega: um circuito que se ativa só sob condições raras, uma representação interna que contradiz o que o modelo diz em voz alta.

4. Não confie cegamente na cadeia de raciocínio

Bricken faz um alerta que todo mundo que usa "reasoning models" deveria colar na parede: "Some people will hail chain-of-thought reasoning as a great way to solve AI safety, but actually we don't know whether we can trust it." A cadeia de raciocínio — o texto que o modelo "pensa em voz alta" antes de responder — parece uma janela para o interior. Mas é uma saída de linguagem, não necessariamente um registro fiel do cálculo que realmente aconteceu nos pesos. O modelo pode chegar à resposta por um caminho e narrar outro. É exatamente por isso que a interpretabilidade mecanicista importa: ela tenta ler o cálculo de fato, não a narração dele.

5. Compute e taste como gargalos — e agentes como componentes confiáveis

Do lado de Douglas, a ideia-chave para quem opera é dupla. Primeiro, o gargalo é compute para obter sinal e julgamento sobre o que fazer — não código. Segundo, sobre a arquitetura do futuro próximo: "I think especially in the near term, it will look much more like agents talking together... we're going to want to have these isolated, reliable components that we can trust." A aposta não é num único modelo monolítico onisciente, e sim em componentes isolados e confiáveis que conversam entre si. Isso é praticamente uma especificação de arquitetura de produto: agentes pequenos, com escopo claro, testáveis isoladamente, compostos em pipelines.

Em suas palavras

"Your model will learn a compression strategy that we call superposition so that it can pack more features of the world into it than it has parameters." — Trenton Bricken

"Some people will hail chain-of-thought reasoning as a great way to solve AI safety, but actually we don't know whether we can trust it." — Trenton Bricken

"I think we are less, at the moment, bound by the sheer engineering work of making these things than we are by compute to run and get signal, and taste in terms of what the actual right thing to do is." — Sholto Douglas

"I think especially in the near term, it will look much more like agents talking together... we're going to want to have these isolated, reliable components that we can trust." — Sholto Douglas

"I think the Gemini program would probably be maybe five times faster with 10 times more compute or something like that." — Sholto Douglas

Limites e críticas

Honestidade primeiro: a interpretabilidade mecanicista é jovem e os próprios pesquisadores são os primeiros a admitir suas limitações. Extrair features bonitas de um transformer de uma camada é uma coisa; escalar o método para modelos de fronteira, com bilhões de parâmetros e dezenas de camadas, é outra — e é uma fronteira de pesquisa aberta, não um problema resolvido. As features encontradas dependem de escolhas do método (quantas features no dicionário, quão esparso), e há debate técnico sobre se SAEs encontram features "canônicas" ou apenas uma decomposição conveniente entre muitas possíveis. Em outras palavras: o microscópio existe, mas ainda estamos calibrando a lente e discutindo o que exatamente estamos vendo.

Do lado da escalabilidade, a crítica é a de sempre contra qualquer tese de progresso: extrapolação. A leitura de Douglas é otimista quanto ao RL e à era dos agentes, e parte dela depende de que o sinal verificável continue disponível nos domínios certos — o que é mais fácil em matemática e código do que em tarefas ambíguas do mundo real, onde "certo" não tem oráculo. Há também o gargalo de compute que ele mesmo nomeia: se o progresso depende de rodar experimentos caros para obter sinal, ele é, por construção, limitado por quem tem os recursos.

E há a tensão entre as duas agendas. A capacidade corre na frente; a compreensão corre atrás. Bricken praticamente diz isso ao desconfiar da cadeia de raciocínio. O risco que isso desenha é um mundo de agentes muito capazes que entendemos pouco — exatamente o cenário que um operador prudente não quer reproduzir na própria empresa.

Como aplicar no seu dia a dia

A tentação de colocar agentes de IA em produção é grande e legítima — especialmente num produto onde há um time de engenharia construindo agentes para tarefas reais de clientes. Douglas e Bricken oferecem um princípio operacional que vale como regra interna: compreensão antes de confiança, e confiança antes de produção.

Na prática isso vira três decisões concretas. Primeiro, siga a arquitetura que Douglas descreve — agentes como "componentes isolados e confiáveis" com escopo estreito, não um super-agente que faz tudo. Cada agente do produto tem uma fronteira clara de responsabilidade, é testável isoladamente e tem um ponto de supervisão humana antes de ações de consequência. Isso não é só boa engenharia; é o reconhecimento de que componentes pequenos são os únicos que se consegue, hoje, realmente entender e auditar.

Segundo, leve o alerta de Bricken sobre a cadeia de raciocínio para a operação: a "explicação" que um agente dá para a própria decisão não é prova de que foi assim que ele decidiu. Logo, não aceite a auto-narração do agente como auditoria. Onde a decisão tem consequência para o cliente — dinheiro, dados sensíveis de pessoas, ações irreversíveis — exija verificação externa do resultado, não a confissão do modelo. É a versão pragmática do "we don't know whether we can trust it".

Terceiro, o gargalo de Douglas — compute para obter sinal e taste sobre o que fazer — costuma ser o seu gargalo em escala menor. Não falta vontade de automatizar; falta sinal confiável sobre se a automação está fazendo a coisa certa, e julgamento sobre quais tarefas valem o esforço. Por isso invista mais em instrumentação (medir o que o agente faz, com dados verificáveis) e em selecionar bem os problemas do que em multiplicar agentes. Em operações onde o erro tem custo físico ou regulatório, a régua é ainda mais alta: nada de agente autônomo sem um humano no circuito e sem uma forma externa de verificar o que ele decidiu.

O resumo da ópera: a interpretabilidade ainda não chegou ao chão de fábrica como ferramenta, mas a mentalidade dela já chegou. Trate todo agente como caixa que você precisa poder abrir — e onde não conseguir abrir, não deixe decidir sozinho.

Para ir além

Comece por: a entrevista de Sholto Douglas e Trenton Bricken no podcast do Dwarkesh Patel, "How to Build & Understand GPT-7's Mind" — é a porta de entrada mais acessível para as duas agendas, com os dois explicando em linguagem natural. Vale também o episódio seguinte, "How Does Claude 4 Think?".

Depois: o paper fundador Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (Transformer Circuits Thread, 2023), de Bricken e coautores. Mesmo lendo só a introdução e as visualizações, você sai entendendo o que é uma feature e por que a superposição importa.

Avançado: o trabalho de circuit tracing na Transformer Circuits (Circuit Tracing: Revealing Computational Graphs in Language Models) e a discussão sobre garantias de pior caso com interpretabilidade ciente de escala. Aqui o tema deixa de ser "abrir a caixa" e passa a ser "abrir a caixa em modelos grandes o suficiente para importar".

Conexões no vault

• IA e Tecnologia — área-mãe deste estudo.
• cursor-aman-sanger-michael-truell — o complemento prático: enquanto Douglas e Bricken perguntam como o modelo funciona por dentro, Sanger e Truell perguntam como isso muda o trabalho de quem constrói software. Capacidade e compreensão de um lado; aplicação e produtividade do outro.
• Richard Sutton e a "amarga lição" — referência que Douglas cita explicitamente; vale uma nota própria se ainda não existir no vault.
• Nota de operação interna: "Compreensão antes de confiança" como critério de promoção de agentes para produção no SaaS de gestão de colaboradores.