TPUs do Google ganham software aberto para disputar espaço com GPUs da Nvidia
O Google abriu o código do TPU Raiden, uma biblioteca criada para otimizar a inferência de modelos de inteligência artificial em seus chips TPU. A iniciativa pode facilitar o uso dessa infraestrutura por empresas e desenvolvedores e reduzir uma das vantagens históricas do ecossistema de software da Nvidia.
Disponível sob licença Apache 2.0, o projeto cuida principalmente da transferência de dados entre chips durante a execução de grandes modelos de linguagem. O Raiden ocupa uma camada semelhante à do NIXL, tecnologia da Nvidia usada para movimentar informações entre GPUs, CPUs e diferentes níveis de armazenamento.
Como funciona o TPU Raiden
A geração de respostas por grandes modelos de linguagem costuma ser dividida em duas etapas. Na primeira, chamada de prefill, o sistema processa o prompt completo enviado pelo usuário. Essa fase exige bastante capacidade computacional.
Depois vem o decode, responsável por gerar a resposta token por token. Nesse momento, o desempenho passa a depender mais da velocidade de acesso e transferência de memória.
Grandes infraestruturas de IA podem executar essas etapas em grupos diferentes de chips, técnica conhecida como processamento desagregado. O problema é que as informações produzidas durante o prefill precisam chegar rapidamente ao hardware responsável pelo decode.
É justamente nesse processo que entra o Raiden.
Biblioteca acelera transferência de memória dos modelos
Durante o processamento inicial, o modelo gera o chamado KV-cache, uma espécie de memória temporária com informações já analisadas pelo sistema. Esses dados precisam ser transferidos para o chip que continuará a geração da resposta.
O TPU Raiden oferece recursos para movimentar esse cache diretamente entre chips dentro de uma máquina e também entre máquinas virtuais equipadas com TPUs por meio da rede.
A biblioteca permite ainda transferir blocos de cache da memória dos aceleradores para a RAM do servidor quando essas informações não são necessárias imediatamente.
Outro recurso permite manter o cache na memória DRAM mesmo após a reinicialização do servidor responsável pelo modelo. Isso pode evitar que todo o conteúdo precise ser carregado novamente durante atualizações de software em ambientes de produção.
O projeto ainda está em desenvolvimento ativo e não é indicado para uso geral em produção.
Google tenta fortalecer ecossistema das TPUs
Embora o Google desenvolva TPUs há anos, esses chips não são vendidos diretamente como hardware independente. O acesso acontece principalmente por meio do Google Cloud.
Boa parte do software usado para operar essas unidades em grande escala também permaneceu historicamente dentro da própria infraestrutura do Google, atendendo serviços como Search e Gemini.
Ao disponibilizar uma parte desse conjunto de ferramentas publicamente, o Google reduz uma barreira para desenvolvedores interessados em utilizar TPUs fora dos fluxos internos da companhia.
O movimento ganha importância porque desempenho de hardware não é o único fator considerado na adoção de aceleradores de inteligência artificial. Ferramentas, bibliotecas e integrações também são essenciais para que empresas consigam colocar modelos em produção sem construir toda a infraestrutura do zero.
Raiden mira uma área dominada pela Nvidia
A Nvidia já possui o NIXL, biblioteca integrada a plataformas de inferência e frameworks utilizados para servir grandes modelos.
A tecnologia suporta transferências por RDMA, NVMe e armazenamento de objetos, além de funcionar com GPUs, CPUs e diferentes camadas de armazenamento por meio de uma única interface.
O Raiden desempenha funções semelhantes, mas foi projetado especificamente para TPUs e para os mecanismos de comunicação e transferência de dados presentes nos chips do Google.
Se a biblioteca ganhar integração com ferramentas amplamente usadas na execução de modelos, empresas que já utilizam arquiteturas baseadas em GPUs podem encontrar menos obstáculos para experimentar ou adotar TPUs.
Código aberto pode reduzir barreiras para adoção
A abertura do Raiden também permite que engenheiros externos estudem como o Google organiza parte da infraestrutura responsável pela inferência em seus chips.
Isso pode ajudar a tornar as TPUs mais familiares para equipes acostumadas ao ecossistema da Nvidia, que conta há anos com documentação, bibliotecas públicas e ferramentas amplamente adotadas pelo mercado.
Mesmo assim, a publicação do Raiden não significa que os próprios chips tenham se tornado abertos ou disponíveis para compra direta. O acesso ao hardware continua ligado principalmente à infraestrutura do Google.
O impacto na disputa por chips de inteligência artificial
A competição entre aceleradores de IA não depende apenas de potência computacional. Um ecossistema de software maduro pode determinar quanto trabalho uma empresa precisa realizar antes de conseguir executar modelos em grande escala.
Ao liberar o TPU Raiden, o Google começa a expor uma parte da infraestrutura que torna suas TPUs mais eficientes e acessíveis para desenvolvedores externos.
A iniciativa pode diminuir a distância entre o ecossistema das TPUs e o conjunto de ferramentas já consolidado em torno das GPUs da Nvidia, tornando mais viável para empresas considerar arquiteturas baseadas em chips do Google ou até ambientes que combinem diferentes tipos de aceleradores.