‘Inteligência’ do ChatGPT reduziu nos últimos meses, diz estudo

A ideia por trás de uma inteligência artificial (IA) generativa, como o ChatGPT, é que ela aprenda com os próprios erros e acertos, tornando-se cada vez mais precisa e inteligente. Porém, de acordo com uma nova pesquisa, o que está acontecendo é o contrário.

Cientistas das universidades de Stanford e Berkeley, nos Estados Unidos, descobriram que o atual motor de linguagem por trás da plataforma da OpenAI, o GPT-4, teve o desempenho piorado com o passar do tempo, em especial se comparado com a sua versão anterior, o GPT-3.5.

A ideia original da pesquisa era descobrir o quanto o modelo de linguagem melhorou, mas o estudo trouxe a informação de que a precisão nas respostas diminuiu entre março de 2023 e junho de 2023.

Foram avaliadas as respostas do ChatGPT para problemas matemáticos, perguntas sensíveis, geração de código de programação e criação de materiais visuais, tudo com base em comandos de texto.

Dá zero para ele

Entre os 500 desafios propostos no estudo envolvendo números primos, a IA generativa com o motor GTP-4 acertou 488 questões corretamente em março deste ano.

No mesmo cenário, três meses depois, ela só conseguiu chegar na resposta correta em 12 delas. Nas questões sensíveis, a ferramenta mais moderna e atualizada se recusou a responder mais perguntas no último mês do que no início do ano.

Na prova de reprodução de materiais visuais, só o motor GPT-4 acertou a questão, mas voltou a errar ela meses depois.Fonte:  Arxiv/Reprodução 

Nos desafios de programação, a taxa de acerto também caiu significativamente de março (52%) para junho (10%), sendo que os problemas passados são considerados básicos em um curso da área. Nesse caso, a situação foi ainda mais grave, pois o motor GPT-3.5 também apresentou uma queda brusca na performance.

A conclusão principal do estudo, que ainda precisa de avaliação dos pares para ser publicado em um periódico acadêmico, é que há uma grande variação no comportamento de um mesmo modelo de linguagem em um curto período de tempo.

Isso pode ser um problema especialmente grave para quem já depende bastante desses serviços — a variação de “inteligência” pode ser para mais ou para menos, prejudicando quem já tem ferramentas ou conteúdos construídos nesses serviços.

Em uma pesquisa oposta, a Microsoft recentemente alega que conseguiu melhorar a performance da IA generativa em sua integração com o buscador Bing, principalmente em assuntos como receitas e viagens.