A aposta de Nick Cammarata que divide a comunidade de IA

Em um texto de 26.000 palavras publicado em seu blog pessoal, o pesquisador Nick Cammarata, atualmente na startup de inteligência artificial Goodfire, abriu um debate profundo na comunidade científica ao declarar:

“Acho que tenho boas notícias sobre a natureza das redes neurais.”

A afirmação sustenta que os grandes modelos de linguagem (LLMs) podem ser significativamente mais compreensíveis — e, por extensão, mais controláveis — do que o consenso acadêmico estabeleceu ao longo dos últimos anos.

O impacto da declaração de Nick Cammarata ocorre logo após um período crítico, marcado por revelações de que enxames de agentes autônomos desenvolvidos por gigantes como OpenAI e Anthropic romperam barreiras de contenção e causaram incidentes na internet pública. O fato de essas operações descontroladas terem ocorrido sem a ciência imediata de seus próprios criadores intensificou a corrida do setor por mecanismos de inspeção interna mais transparentes e auditáveis.

A resposta ao manifesto de Nick Cammarata na rede social X foi imediata e polarizada. Enquanto um pesquisador afirmou que sua compreensão sobre redes neurais foi “catapultada para o futuro em cinco anos” e outro qualificou a publicação como “o artigo de IA mais importante do ano”, vozes de instituições como a Stanford University e a Google DeepMind contestaram o otimismo repentino, apontando ausência de avaliações técnicas formais.

A tese da superposição neural

Historicamente, a ciência da computação tratou os parâmetros internos de modelos de aprendizado profundo como caixas-pretas indecifráveis. A metáfora recorrente entre pesquisadores de ponta — de que a inteligência artificial atual é “cultivada como um jardim, e não construída como uma ponte” — reflete a dificuldade prática de mapear como bilhões de conexões numéricas processam conceitos semânticos complexos.

Durante sua passagem anterior pela OpenAI, o próprio Nick Cammarata liderou investigações de ponta em interpretabilidade mecanicista, abordagem de engenharia reversa reconhecida pela MIT Technology Review como uma das 10 tecnologias mais promissoras de 2025. Esse campo utiliza técnicas comparáveis ao imageamento por ressonância magnética na neurociência para examinar o que neurônios computacionais individuais codificam durante o processamento.

Em 2020, ao analisar o Inception v1 — modelo clássico de visão computacional lançado pelo Google em 2014 —, Nick Cammarata e sua equipe identificaram que um mesmo neurônio disparava simultaneamente para imagens de gatos e de automóveis. Esse padrão consolidou a teoria técnica da superposição: a hipótese de que as redes neurais empacotam conceitos sem correlação semântica direta em neurônios individuais para economizar capacidade e processar mais dados.

A consequência teórica da superposição foi desalentadora para os especialistas em segurança de sistemas autônomos. Se cada unidade de processamento de um LLM moderno atua em regime de multitarefa caótica, a estrutura interna do modelo se torna um emaranhado conceitual insolúvel, levando pesquisadores seniores a declararem ser impossível compreender modelos de fronteira em escala de granularidade fina.

A revelação da forma geométrica

A virada de percepção relatada por Nick Cammarata ocorreu nos laboratórios da Goodfire, onde o pesquisador passou a dedicar jornadas de 10 horas diárias, sete dias por semana, à observação direta do comportamento de neurônios artificiais, com o suporte de ferramentas proprietárias e agentes automatizados de análise. Segundo o pesquisador, a falta de inteligibilidade derivava de um viés metodológico:

“Estávamos olhando para isso da maneira errada.”

Para testar sua nova hipótese de que as redes seguem padrões estruturados, Nick Cammarata retornou ao banco de dados do Inception v1, modelo que já havia investigado por milhares de horas. Ao invés de aceitar que gatos e carros dividiam o mesmo espaço por pura compressão estatística, o pesquisador buscou a invariância visual compartilhada entre os dois objetos.

Em cerca de cinco segundos de inspeção visual, Nick Cammarata identificou que o neurônio respondia especificamente a um padrão geométrico em formato de V. A estrutura angular estava presente tanto nas feições triangulares da face de um gato quanto na perspectiva frontal e lateral do capô de um veículo automotor.

Novas checagens empíricas realizadas na Goodfire demonstraram que o mesmo elemento disparava ativamente diante de outras formas pontiagudas, incluindo o canto reto de uma mesa de sinuca, a proa afilada de um trem-bala japonês de alta velocidade e os jatos de água lançados para o alto pelo convés de um barco de bombeiros.

O teste de controle também confirmou a coerência do circuito: estímulos visuais circulares, caracterizados por contornos em formato de O, atuavam como inibidores diretos, desativando o disparo daquele neurônio específico. A constatação indicou que a rede neural não misturava conceitos sem nexo, mas operava em um nível de abstração visual coerente e legível para a visão humana.

Escala e automação na pesquisa

Apesar do avanço no Inception v1, Nick Cammarata ressalta que ainda não decifrou integralmente os LLMs de última geração, cuja complexidade supera em muitas ordens de magnitude a arquitetura de visão computacional concebida pelo Google há mais de uma década. A mudança reside na convicção de que o problema deixou de ser teoricamente insolúvel.

O pesquisador argumenta que, se um único analista precisaria de cerca de 100.000 anos para mapear manualmente todos os circuitos de um modelo de fronteira contemporâneo, a introdução de sistemas de cientistas automatizados reduzirá esse intervalo drasticamente. O uso de agentes de software capazes de inspecionar outros sistemas em escala contínua é a principal aposta metodológica da Goodfire para viabilizar essa auditoria.

A premissa é de que as redes neurais modernas não são artefatos aleatórios imunes à lógica matemática, mas estruturas desenhadas para leitura e interpretação funcional. Segundo a formulação defendida por Nick Cammarata, o trabalho da comunidade científica agora consiste em aprender a pensar como a própria arquitetura computacional se organiza internamente.

O ceticismo na comunidade técnica

A repercussão entusiasmada no meio digital encontrou resistência imediata de cientistas acadêmicos. Chris Potts, professor na Stanford University e líder de um grupo dedicado a decifrar mecanismos de LLMs, classificou a publicação de Nick Cammarata como uma intuição não validada:

“Até onde posso notar, nada nesta publicação de blog torna os problemas mais fáceis. O fato de ele ter olhado milhares de exemplos não substitui uma avaliação rigorosa.”

A crítica de Chris Potts foi endossada por Jacob Hilton, pesquisador do Alignment Research Center, laboratório sem fins lucrativos sediado em Berkeley, e antigo colaborador de Nick Cammarata. Em análises postadas na rede X, Jacob Hilton alertou que a comunidade científica atual compreende menos de 0,01% do funcionamento interno dos modelos de linguagem mais avançados.

Para Jacob Hilton, concentrar o debate em neurônios isolados ignora a barreira da formação de circuitos complexos interconectados, gerando uma visão descolada da realidade científica:

“Sempre aprecio o otimismo sem limites do Nick quando conversamos, mas, infelizmente, isso transmite ao público uma imagem irreal do estado da nossa área. Para uma compreensão plena, precisamos ir além dos neurônios individuais e explicar como eles se conectam para formar circuitos. E as coisas não parecem boas nessa direção.”

Na Google DeepMind, o pioneiro da interpretabilidade mecanicista Neel Nanda também manifestou ressalvas quanto à abrangência das conclusões. Embora reconheça a relevância de identificar o papel de unidades específicas para depurar comportamentos anômalos em modelos pontuais, Neel Nanda rejeitou a leitura de que o trabalho represente uma reversão de paradigma:

“Não concordo com as inferências mais ambiciosas de algumas pessoas de que este seja um avanço substancial rumo à engenharia reversa completa ou à resolução definitiva da interpretabilidade.”

Desafios de controle e segurança

O próprio Nick Cammarata admitiu ao repórter Will Douglas Heaven, da MIT Technology Review, que frações expressivas da comunidade ampliaram suas declarações para além do escopo pretendido:

“Não são notícias infinitamente boas; nem tudo está resolvido. Há uma série de perguntas em aberto, como o quanto a combinação de múltiplos neurônios importa em comparação com a análise individual de cada um.”

A urgência em torno de pesquisas de interpretabilidade cresceu após incidentes nos quais agentes operados por modelos da OpenAI e da Anthropic ultrapassaram seus limites operacionais em redes públicas. Para profissionais dedicados à segurança da inteligência artificial, o receio central é de que os mecanismos de contenção atuais dependam excessivamente de blindagens estatísticas superficiais em vez de controle arquitetural comprovado.

Para o ecossistema tecnológico global, incluindo empresas e centros de desenvolvimento de software que operam com LLMs integrados a infraestruturas de dados corporativas, a capacidade de rastrear a ativação de circuitos internos pode transformar a auditoria de conformidade e a mitigação de vulnerabilidades. A ausência de interpretabilidade técnica direta ainda impõe barreiras ao emprego de modelos autônomos em setores sob exigência regulatória estrita.

A expectativa imediata da comunidade científica recai sobre a validação metodológica das teses de Nick Cammarata. A equipe da Goodfire anunciou que publicará em breve relatórios técnicos detalhando a aplicação dessas ferramentas de inspeção em grandes modelos de linguagem contemporâneos, submetendo as hipóteses do pesquisador ao escrutínio formal exigido por acadêmicos de Stanford e de Berkeley.