Imagens de Taylor Swift geradas por inteligência artificial se espalharam pelas redes sociais no final de janeiro e, ao que indica um novo relatório, tiveram origem como parte de um desafio recorrente em um dos fóruns de mensagens mais notórios da internet.
A Graphika, uma empresa de pesquisa que estuda desinformação, rastreou as imagens até uma comunidade no 4chan, um fórum de mensagens conhecido por compartilhar discurso de ódio, teorias da conspiração e, cada vez mais, conteúdo racista e ofensivo criado com uso de IA generativa (como o ChatGPT).
As pessoas no 4chan que criaram as imagens da cantora fizeram isso como parte de uma espécie de jogo, disseram os pesquisadores —um teste para ver se eles poderiam criar imagens obscenas (e às vezes violentas) de figuras femininas famosas.
As imagens sintéticas de Swift se espalharam para outras plataformas e foram vistas milhões de vezes. Os fãs se uniram em defesa de Swift, e os legisladores exigiram proteções mais fortes contra imagens criadas por IA.
A Graphika encontrou uma sequência de mensagens no 4chan que encorajava as pessoas a tentarem contornar as salvaguardas estabelecidas por ferramentas geradoras de imagens, incluindo o Dall-E da OpenAI, o Microsoft Designer e o Bing Image Creator. Os usuários foram instruídos a compartilhar “dicas e truques para encontrar novas maneiras de burlar os filtros”. “Boa sorte, seja criativo”, encorajava a publicação.
Compartilhar conteúdo nocivo por meio de jogos permite que as pessoas se sintam conectadas a uma comunidade mais ampla e sejam motivadas pelo prestígio que recebem por participar, disseram os especialistas. Antes das eleições de meio de mandato em 2022, grupos em plataformas como Telegram, WhatsApp e Truth Social se envolveram em uma caça por fraude eleitoral, ganhando pontos ou títulos honorários por produzir supostas evidências de má conduta eleitoral —provas reais de fraude eleitoral são excepcionalmente raras.
No tópico do 4chan que levou às imagens falsas de Swift, vários usuários receberam elogios —”gen anon bonito”, escreveu um deles— e foram solicitados a compartilhar o comando usado para criar as imagens. Um usuário lamentou que uma instrução tenha produzido uma imagem de uma celebridade vestindo um maiô em vez de nua.
As regras postadas pelo 4chan que se aplicam a todo o site não proíbem especificamente imagens sexualmente explícitas geradas por IA de adultos reais.
“Essas imagens tiveram origem em uma comunidade de pessoas motivadas pelo ‘desafio’ de contornar as salvaguardas de produtos de IA generativa, e novas restrições são vistas apenas como mais um obstáculo a ser ‘derrotado'”, disse Cristina López G., analista sênior da Graphika, em comunicado. “É importante entender a natureza gamificada dessa atividade maliciosa para evitar abusos adicionais na fonte.”
Swift está “longe de ser a única vítima”, disse López G. Na comunidade do 4chan que manipulou sua imagem, muitas atrizes, cantoras e políticas foram apresentadas com mais frequência do que Swift.
A OpenAI afirmou em comunicado que as imagens explícitas de Swift não foram geradas usando suas ferramentas, observando que filtra o conteúdo mais explícito ao treinar seu modelo Dall-E. A empresa também disse que utiliza outras salvaguardas de segurança, como negar solicitações que pedem por uma figura pública pelo nome ou procuram conteúdo explícito.
A Microsoft disse que está “continuando a investigar essas imagens” e que “reforçou seus sistemas de segurança existentes para evitar ainda mais o uso indevido dos serviços da empresa para ajudar a gerar imagens como essas”. A empresa proíbe os usuários de usar suas ferramentas para criar conteúdo adulto ou íntimo sem consentimento e avisa os infratores reincidentes que eles podem ser bloqueados.
A pornografia falsa gerada com computadores tem sido um flagelo desde pelo menos 2017, afetando celebridades, figuras governamentais, streamers do Twitch, estudantes e outros. A regulamentação fragmentada deixa poucas vítimas com recursos legais; ainda menos têm uma base de fãs dedicada para abafar as imagens falsas com postagens coordenadas de “Protejam Taylor Swift”.
Após as imagens falsas de Swift se tornarem virais, Karine Jean-Pierre, secretária de imprensa da Casa Branca, chamou a situação de “alarmante” e disse que a aplicação frouxa pelas empresas de mídia social de suas próprias regras afeta desproporcionalmente mulheres e meninas. Ela disse que o Departamento de Justiça recentemente financiou a primeira linha direta nacional para pessoas alvo de abuso sexual baseado em imagens, que o departamento descreveu como atendendo a uma “necessidade crescente de serviços” relacionados à distribuição de imagens íntimas sem consentimento. O Screen Actors Guild-American Federation of Television and Radio Artists, o sindicato que representa dezenas de milhares de atores, chamou as imagens falsas de Swift e de outros de “roubo de sua privacidade e direito à autonomia”.
Versões artificialmente geradas de Swift também foram usadas para promover golpes envolvendo utensílios de cozinha Le Creuset. A IA foi usada para imitar a voz do presidente Joe Biden em chamadas automáticas desencorajando os eleitores a participarem das eleições primárias de New Hampshire. Especialistas em tecnologia dizem que, à medida que as ferramentas de IA se tornam mais acessíveis e fáceis de usar, falsificações de áudio e vídeos com avatares realistas podem ser criados em questão de minutos.
Pesquisadores disseram que a primeira imagem de IA explicitamente sexual de Swift no tópico do 4chan apareceu em 6 de janeiro, 11 dias antes de supostamente terem aparecido no Telegram e 12 dias antes de surgirem no X (ex-Twitter), anteriormente conhecido como Twitter. A 404 Media informou em 25 de janeiro que as imagens virais de Swift haviam se espalhado para plataformas de mídia social mainstream a partir do 4chan e de um grupo do Telegram dedicado a imagens abusivas de mulheres. O jornal britânico Daily Mail relatou naquela semana que um site conhecido por compartilhar imagens sexualizadas de celebridades postou as imagens de Swift em 15 de janeiro.
Por vários dias, o X bloqueou pesquisas por Taylor Swift “com uma abundância de cautela para garantir que estávamos limpando e removendo todas as imagens”, disse Joe Benarroch, chefe de operações comerciais da empresa.
