A startup americana Groq criou um chip capaz de executar comandos no ChatGPT em 7% do tempo que leva a nuvem da Microsoft, em uma velocidade 13 vezes mais rápida.
Circulam nas redes sociais vídeos da plataforma da Groq respondendo a pedidos em fração de segundo.
A empresa diz que entrega as respostas com a maior velocidade no mundo, e plataformas especializadas em testar performance de modelos de IA endossam.
A Groq produz chips assim como a Nvidia e não é o modelo de IA sem moderação de Elon Musk, chamado de Grok. O nome das duas empresas, que significa conhecimento profundo e intuitivo, tem origem no livro de ficção científica “Um estranho em uma terra estranha”.
A proposta da startup, entretanto, é uma arquitetura diferente das GPUs (unidades de processamento gráficas), da Nvdia, conhecidas por permitir o treinamento de grandes modelos de linguagem como o ChatGPT. A Groq diz produzir LPUs (unidades de processamento de linguagem).
O projeto da empresa diz abandonar tudo o que não é necessário para rodar uma plataforma de IA e guardar mais espaço para circuitos eletrônicos em paralelo, essenciais para fazer os cálculos estatísticos envolvidos na execução de um modelo de linguagem.
Dessa maneira, a Groq consegue fazer um modelo de IA responder a uma velocidade de 246 tokens por segundo —tokens são os códigos a partir dos quais a tecnologia processa as palavras, cada um representa um pedaço de palavra. Isso, segundo medições da empresa Artificial Analysis, de benchmarking de IA.
O provedor da Microsoft, Azure, por exemplo, faz o ChatGPT funcionar a uma velocidade de 18 tokens por segundo.
Os chips da Groq ainda não podem ser produzidos em escala comercial, como as GPUs da Nvidia. A startup projeta que isso será possível em 2025.
Conseguir respostas mais rápidas de modelo de IA pode abrir espaço para novas aplicações.
Um exemplo disso é a velocidade atual do ChatGPT, hoje incompatível para um diálogo humano, o que torna a experiência robótica.
Em entrevista à CNN Internacional, o chefe-executivo da Groq, Jonathan Ross, mostrou que o chip da sua empresa torna uma conversa casual possível. O chatbot manteve um diálogo simples com a apresentadora do programa Connect, Becky Anderson.
A Groq, entretanto, não é a única empresa a trabalhar em chips de inferência voltados à inteligência artificial. Nvidia, Google e Microsoft já divulgaram projetos similares ainda sem acesso completo ao público.
As LPUs da Groq tampouco são tão eficientes quanto as GPUs da Nvidia no treinamento de grandes modelos de linguagem. Esse é o passo essencial para fazer plataformas como o ChatGPT entregarem respostas adequadas.
Em 8 de fevereiro, o Wall Street Journal noticiou que Sam Altman, o chefe-executivo por trás do ChatGPT, movia esforços para levantar até US$ 7 trilhões (R$ 34,6 trilhões) para reformular a produção de chips pelo mundo. Esse negócio, contudo, ainda se limita a um rumor.
