Kog desafia limites de GPUs para acelerar inferência de IA em até 30 vezes

A startup francesa Kog apresentou uma abordagem de engenharia em nível de máquina para tentar resolver o gargalo de velocidade e custo na inferência de inteligência artificial sem exigir a troca da infraestrutura atual das empresas. Em vez de apostar em aceleradores dedicados de silício — mercado impulsionado pela estreia da Cerebras no mercado de capitais em sua oferta pública inicial (IPO) realizada em maio —, a companhia aposta na extração de desempenho bruto diretamente de placas convencionais de centros de dados, como a Nvidia H200 e a AMD MI300X, por meio de otimização profunda de software.

O projeto ganhou notoriedade global em maio ao alcançar a primeira página do Hacker News com a divulgação de uma prévia técnica demonstrando decodificação de requisição única em altíssima velocidade em GPUs corporativas padronizadas. O teste prático registrou a marca de 3.000 tokens por segundo (TPS) por requisição utilizando o Laneformer 2B, um modelo compacto de 2 bilhões de parâmetros desenvolvido sob medida pela própria empresa e disponibilizado sob licença de código aberto.

A demonstração gerou retorno comercial imediato para a equipe liderada pelo fundador solo Gaël Delalleau. Segundo o executivo, a publicação resultou em 200 leads de negócios tangíveis de companhias que buscam reduzir a latência de processamento sem migrar para hardwares proprietários raros. A promessa central da empresa é atingir uma inferência 30 vezes mais rápida em grandes modelos de linguagem (LLMs) por meio do motor proprietário Kog Inference Engine (KIE).

Tivemos 200 leads comerciais tangíveis.

O gargalo da inferência moderna

A fase de inferência — momento em que o modelo treinado responde às requisições dos usuários — tornou-se o componente mais caro e restritivo do ciclo de vida da inteligência artificial. Softwares de engenharia assistida por IA, como o Claude Code da Anthropic, frequentemente impõem tempos de espera extensos aos desenvolvedores durante operações complexas, fazendo com que a própria fornecedora cobre valores multiplicados pelo acesso ao modo rápido (Fast Mode) de seus sistemas.

A estratégia da Kog concentra-se em resolver a latência percebida por profissionais que dependem de fluxos de trabalho contínuos. Além do segmento de desenvolvimento de software, a empresa estabeleceu acordos com parceiros de design focados na geração em tempo real de aplicativos e jogos eletrônicos a partir de prompts em linguagem natural, cenários nos quais cada milissegundo economizado no pipeline de geração se traduz diretamente em engajamento e métricas de monetização.

Embora parte da comunidade tenha lamentado que a tecnologia do Kog Inference Engine não seja compatível com processadores gráficos instalados em notebooks e computadores pessoais, Delalleau esclareceu que o foco operacional reside exclusivamente no hardware de datacenter. A arquitetura dos nós corporativos concentra os recursos necessários para suportar os volumes maciços de tráfego de aplicações críticas de inteligência artificial generativa.

Transição para modelos de grande porte

Apesar do resultado inicial expressivo com o Laneformer 2B, a Kog deparou-se com uma barreira operacional prática: as empresas clientes não demonstraram disposição para realizar o ajuste fino (fine-tuning) de modelos de parâmetros reduzidos para acomodar suas demandas. Essa constatação forçou uma mudança prioritária no cronograma técnico da startup sediada na França.

E é por isso que, desde o lançamento, estivemos totalmente focados em acelerar o desenvolvimento de modelos maiores para atender à demanda que observamos.

Para cumprir a meta de entregar ganhos de até 30x no ecossistema de LLMs convencionais, a equipe técnica da Kog trabalha para adaptar sua mecânica de decodificação aos modelos de dezenas ou centenas de bilhões de parâmetros. Céticos do setor apontam que a dimensão volumétrica desses pesos representa um desafio severo de vazão e largura de banda para qualquer arquitetura de aceleração.

Delalleau rejeita a premissa de que os aceleradores gráficos tradicionais atingiram um teto técnico na fase de decodificação. O executivo argumenta que a evolução contínua da largura de banda de memória em silícios como a Nvidia H200 e a AMD MI300X fornece a margem necessária para ganhos substanciais de transferência, desde que o software interaja com o hardware sem as camadas intermediárias de abstração habituais.

As GPUs têm um futuro brilhante.

Engenharia reversa e baixo nível

O método de desenvolvimento adotado pela Kog reflete a trajetória acadêmica e profissional de seu fundador. Formado em física do estado sólido pela École Polytechnique, na França, Gaël Delalleau consolidou sua carreira atuando em segurança ofensiva (white hat hacking), acumulando quatro participações como finalista no torneio Capture the Flag (CTF) da conferência DEFCON. Anteriormente, fundou a Stribe, empresa participante do programa TechCrunch50 em 2009 ao lado de Kamel Zeroual, hoje sócio do fundo Varsity VC.

Essa bagagem analítica levou a empresa a tratar a programação de GPUs como um exercício de desmontagem de baixo nível, operando diretamente em linguagem assembly e código binário para contornar gargalos presentes nos drivers e runtimes convencionais fornecidos pelos fabricantes de circuitos integrados.

Há essa mentalidade de entender as leis da física e as leis da GPU para tirar o máximo proveito delas.

Isso me ensinou a fazer engenharia reversa nas coisas em um nível muito baixo — até a linguagem assembly e o código binário — para entender como funciona e tentar usá-las para alcançar um objetivo para o qual não foram necessariamente projetadas.

Esse processo artesanal impõe limites claros de escala. A Kog conta atualmente com uma equipe de apenas 11 pessoas, o que restringe o número de placas suportadas simultaneamente, dado o tempo despendido em pesquisa de engenharia dedicada para cada microarquitetura analisada no laboratório.

Para cada nova GPU, dedicaremos várias semanas ou até meses para realmente nos aprofundarmos nos detalhes e conduzirmos pesquisas de engenharia de GPU naquele hardware.

Panorama competitivo e ecossistema europeu

A iniciativa da Kog não ocorre isolada no mercado europeu de otimização de infraestrutura. Outra startup francesa, a ZML, desenvolveu uma camada de software agnóstica de hardware projetada para contornar o ecossistema proprietário Nvidia CUDA, permitindo a execução de inferência acelerada em diferentes fornecedores de semicondutores. Delalleau, contudo, traça um paralelo mais direto entre o trabalho de sua equipe e as investigações realizadas pelo laboratório acadêmico Hazy Research, vinculado à Universidade de Stanford, ressaltando o foco em aceleração física no silício.

Para contornar o gargalo da adaptação manual de chips, o plano de longo prazo da Kog prevê a integração de sua metodologia a pipelines baseados em agentes autônomos de software. A automação permitiria mapear as instruções internas de novas arquiteturas de GPU em prazos reduzidos, expandindo o suporte a um catálogo mais amplo de processadores e modelos de inteligência artificial.

A operação encontra respaldo em iniciativas governamentais e corporativas voltadas à soberania tecnológica da Europa. A startup conta com a infraestrutura da operadora de nuvem Scaleway, apoio financeiro do banco público de investimento Bpifrance e integração ao programa governamental French Tech 2030, que fomenta tecnologias estratégicas no continente.

Próximos passos e rodada Série A

O teste decisivo para a validação comercial da Kog está agendado para o curto prazo. A empresa estabeleceu a meta de demonstrar a execução do seu primeiro modelo de grande porte com aceleração de 10 vezes no mês de setembro, passo fundamental para transformar o interesse inicial dos 200 leads registrados em contratos de produção recorrentes.

Assim que tivermos implementado nosso primeiro grande modelo a uma velocidade 10x, o que acredito que será em setembro, poderemos começar a demonstrar tração de clientes e, a partir daí, levantar nossa Série A.

A captação da rodada de investimentos Série A deverá fornecer os recursos de capital necessários para expandir o quadro de engenheiros especializados da equipe, viabilizando o suporte a novas gerações de hardware e consolidando a presença da startup francesa na disputa global pela eficiência em inferência de inteligência artificial.