Startups desafiam a hegemonia dos transformers no futuro das LLMs

Em meados de 2017, pesquisadores do Google publicaram o artigo histórico "Attention Is All You Need", apresentando a arquitetura de rede neural conhecida como transformer. Quase uma década após a publicação do trabalho, essa estrutura se consolidou como o motor essencial por trás de todos os principais modelos de linguagem de grande porte (LLMs) do mercado global. No entanto, o crescimento acelerado e os custos computacionais proibitivos da tecnologia começaram a expor os limites intrínsecos do mecanismo de atenção densa.

Segundo Justin Dangel, cofundador e CEO da startup Subquadratic, o impacto histórico dessa inovação é indiscutível:

"Toda a indústria de IA é construída sobre transformers. Eles são uma das inovações mais importantes na história da ciência da computação e mudaram o mundo."

Apesar desse legado, empresas emergentes do setor de tecnologia argumentam que as melhorias recentes, como a capacidade de raciocínio lógico avançado e janelas de contexto estendidas, funcionam como soluções paliativas para contornar gargalos estruturais das redes neurais atuais.

A urgência por novas abordagens técnicas, apelidadas pela publicação MIT Technology Review de LLMs+, é impulsionada principalmente pela escala financeira e energética envolvida na manutenção de modelos tradicionais. Estima-se que a OpenAI gastará cerca de US$ 50 bilhões em infraestrutura computacional durante este ano, conforme dados compartilhados pelo presidente da empresa, Greg Brockman. Paralelamente, dados da Agência Internacional de Energia (IEA) apontam que o consumo global de eletricidade em data centers deve dobrar até o ano de 2030.

Limitações da atenção densa

O funcionamento central dos transformers baseia-se na atenção densa, um mecanismo matemático em que cada token ou palavra de um texto é comparado individualmente a todos os outros elementos do bloco por meio de multiplicações matriciais. Quando um documento atinge a extensão de 10.000 palavras, um modelo tradicional precisa executar aproximadamente 50 milhões de multiplicações para processar a sequência. Esse volume de operações exige um suprimento massivo de energia elétrica, criando barreiras operacionais severas.

Além da demanda de energia, os transformers enfrentam limitações no gerenciamento de janelas de contexto volumosas, indispensáveis para processar bibliotecas de documentos, códigos de programação inteiros ou cadeias de raciocínio conhecidas como chain of thought. Em modelos focados em raciocínio, o sistema precisa gerar e reler anotações internas continuamente, expandindo o volume total de dados processados simultaneamente. Como consequência direta, o método sequencial de processamento palavra por palavra transformou o principal trunfo dos transformers em seu maior obstáculo técnico.

Atenção esparsa e retenção

Para contornar o custo excessivo da atenção densa, a startup Subquadratic, sediada em Miami, desenvolveu um mecanismo denominado atenção esparsa por meio do modelo SubQ. Diferente do método tradicional, a tecnologia calcula apenas pares específicos de palavras, identificando dinamicamente quais termos são relevantes em um texto. A empresa afirma que o sistema iguala o desempenho de LLMs convencionais em tarefas de busca e programação, contando com milhares de inscritos em sua lista de espera.

Por outro lado, a startup Manifest AI, sediada em São Francisco, propõe substituir completamente o mecanismo de atenção pelo conceito de retenção de potência. O cofundador e CTO da empresa, Carles Gelada, explica que a tecnologia gera um resumo contínuo da janela de contexto, descartando dados irrelevantes à medida que novas informações são introduzidas. Com essa abordagem, a Manifest AI adaptou o modelo open-source de programação StarCoder para a versão PowerCoder, além de lançar o modelo Brumby, projetado para competir com variantes do modelo Qwen da Alibaba.

Redes neurais líquidas

Outra alternativa ao paradigma dominante é liderada pela Liquid AI, uma spinout do MIT localizada em Cambridge, Massachusetts. Sob o comando do CEO e cofundador Ramin Hasani, a empresa criou os modelos fundacionais líquidos (LFMs), inspirados na estrutura do cérebro de vermes e derivados de redes convolucionais. As redes líquidas têm como diferencial a capacidade de adaptar seu comportamento a novos dados em tempo de execução, característica inexistente nos transformers tradicionais, cujos parâmetros permanecem estáticos após o treinamento.

Os modelos desenvolvidos pela Liquid AI destacam-se pelo baixo consumo energético e dimensões reduzidas. Capazes de executar em chips embarcados de veículos da montadora Mercedes ou em computadores de baixo custo como o Raspberry Pi de US$ 50, as redes da empresa acumulam aproximadamente 34 milhões de downloads. O modelo híbrido atual da startup utiliza a proporção de 20% de transformers e 80% de redes neurais líquidas, combinação definida por uma ferramenta de IA interna projetada especificamente para otimizar arquiteturas de modelos.

"O seu cérebro é um sistema de AGI e opera com apenas 20 watts de potência. Como isso é possível? Nós podemos ser muito mais inovadores"

, argumenta Ramin Hasani, ressaltando que a eficiência dos sistemas biológicos demonstra o espaço existente para evolução fora do padrão tradicional dos transformers.

Geração de texto por difusão

Em Palo Alto, Califórnia, a startup Inception aposta na aplicação da tecnologia de difusão — amplamente utilizada em geradores de imagens e vídeos — para o processamento de texto. Liderada pelo CEO e professor da Universidade Stanford, Stefano Ermon, a empresa desenvolveu um método que gera frases completas simultaneamente, eliminando a necessidade de prever uma palavra por vez como fazem os modelos de linguagem convencionais.

Em 2024, Stefano Ermon e seus colaboradores em Stanford formularam a base matemática para aplicar difusão a dados textuais discretos, resultando em um protótipo equivalente ao modelo GPT-2 da OpenAI (lançado em 2019), porém com velocidade de processamento 10 vezes superior. O modelo comercial mais recente da Inception, intitulado Mercury 2, afirma alcançar a performance da família de modelos GPT-4 (de 2023) mantendo a aceleração de 10 vezes. Gigantes como o Google também exploram a arquitetura por meio do modelo experimental Diffusion Gemma.

Modelos além da linguagem

Levando a reformulação arquitetônica ainda mais longe, a startup Pathway, também localizada em Palo Alto, desenvolveu o modelo Dragon Hatchling — cujo nome homenageia a obra literária de Terry Pratchett, The Color of Magic. O objetivo da empresa é desvincular o raciocínio avançado das amarras exclusivas do processamento de linguagem natural, focando em estruturas lógicas puras para resolver problemas complexos de computação.

Nos testes de benchmark envolvendo mais de 250.000 desafios complexos de Sudoku, o Dragon Hatchling alcançou um índice de resolução superior a 97% dos problemas apresentados. Em contrapartida, os principais modelos de linguagem de grande porte desenvolvidos pelos grandes laboratórios de pesquisa falharam em resolver a totalidade dos testes da mesma base de dados. O resultado expõe como certas tarefas de raciocínio formal demandam estruturas matemáticas radicalmente distintas das redes baseadas puramente em previsões estatísticas de palavras.

Impacto no ecossistema de tecnologia brasileiro

A substituição progressiva ou complementação dos transformers por arquiteturas como redes líquidas e difusão traz implicações diretas para o mercado de tecnologia no Brasil. Em um cenário onde a infraestrutura de data centers e a energia elétrica representam custos operacionais elevados para startups nacionais, o surgimento de modelos capazes de rodar em hardware acessível, como processadores de borda e dispositivos do tipo Raspberry Pi, reduz barreiras financeiras para a implantação local de soluções baseadas em inteligência artificial.

Além da questão de custos, desenvolvedores e engenheiros de software no ecossistema brasileiro de inovação passam a ter acesso a alternativas open-source promissoras, a exemplo dos modelos desenvolvidos pela Liquid AI e disponibilizados gratuitamente para organizações com faturamento anual inferior a US$ 10 milhões. A diversificação de arquiteturas computacionais sinaliza a transição de uma era focada estritamente no aumento da escala de hardware para uma fase focada no ganho de eficiência por dólar investido.