Ferramenta de Elon Musk foi treinada a partir de imagens retiradas da internet e tem sido usada para gerar imagens sexualizadas de pessoas reais, incluindo crianças
Uma mãe orgulhosa posta, em uma rede social, a foto da primeira vez em que seu bebê vê o mar. Além do sorrisinho tímido e da carequinha brilhando sob o sol, outra coisa pode chamar a atenção, não só de pessoas mal-intencionadas, mas também de algoritmos treinados para identificar corpos e padrões visuais. A partir de milhões de imagens inocentes como essa, sistemas de inteligência artificial (IA) aprendem a criar versões sexualizadas ou até pornográficas de pessoas reais. Esse risco veio à tona no fim de dezembro de 2025 com o caso do Grok, chatbot desenvolvido pela empresa de Elon Musk. O bilionário é acusado de facilitar a produção e a circulação de conteúdo sexualizado, inclusive envolvendo crianças e adolescentes.
Para a professora Leo Ribeiro, do Instituto de Ciências Matemáticas e de Computação (ICMC) da USP, em São Carlos, a controvérsia decorre de uma combinação de negligência técnica e escolhas ideológicas da empresa. “Diferente de outras empresas concorrentes como ChatGPT ou Gemini, o Grok foi lançado sem treinamento de segurança e sem filtros para evitar a geração de conteúdo ofensivo ou ilegal. A liderança do Grok vê essas salvaguardas como censura em vez de bom senso”, destaca a docente, que pesquisa, entre outros, temas como combate à exploração sexual de crianças e adolescentes no Projeto Araceli: Inteligência Artificial no Combate ao Abuso Sexual Infantil.
O professor Fernando Osório, membro do comitê executivo e coordenador de difusão do Centro para Inteligência Artificial (C4AI), realizou um experimento comparativo que ilustra como outros sistemas de IA lidam com pedidos potencialmente sensíveis. No experimento, ele carregou uma foto do falecido Papa Francisco e pediu ao ChatGPT que gerasse uma versão do pontífice com um físico musculoso. “O sistema atendeu ao pedido e produziu o Papa com um corpo de fisiculturista”, relata.
Em seguida, ele tentou instruir o modelo a retirar a camisa da figura, no estilo de imagens que vêm sendo associadas ao Grok, onde a ferramenta atendeu a esse comando. “Ou seja, o modelo cumpriu o pedido relacionado à alteração corporal pois considera que é aceitável tirar a camisa de uma figura masculina, o que pode ser considerado inadequado por muitas pessoas”, completa o docente do ICMC.
Na comparação com outras plataformas, como o Gemini, do Google, Osório afirma que esta ferramenta recusou realizar diversas instruções, não permitindo a manipulação da imagem original. Para o pesquisador, isso revela níveis distintos de salvaguardas entre as grandes empresas de IA.
Lançado nos Estados Unidos no final de 2023, o Grok só ficou disponível no Brasil no começo de 2025, destacando-se por gerar imagens fotorrealistas. A situação atingiu um ponto crítico recentemente, quando mais de 15 mil imagens explícitas foram geradas em apenas duas horas, incluindo figuras públicas. O próprio Elon Musk publicou, no dia 10 de janeiro em seu perfil no X (antigo Twitter), montagens que mostram o primeiro-ministro britânico, Keir Starmer, de biquíni.
Segundo o professor Fernando, o Grok funciona como a IA nativa da plataforma, sendo um pilar central do seu funcionamento e da sua estratégia de disseminação. “O Grok não existe no vácuo. Ele está plugado ao X, que hoje é uma das maiores plataformas de circulação de informação política e social do mundo. Isso amplifica tanto a velocidade quanto o impacto do conteúdo gerado”, complementa o pesquisador.
Foi justamente essa integração que permitiu que essa falha no sistema de salvaguarda da IA de Musk ficasse mundialmente conhecida. “À medida que usuários começaram a gerar imagens sexualizadas em massa e publicá-las diretamente no X, o conteúdo rompeu rapidamente a bolha inicial e passou a circular fora da plataforma, alcançando grupos, portais e outras redes”, afirma o docente.
E quem responde por isso?
Além dos riscos sociais, o episódio expõe, segundo João Paulo Cândia Veiga, professor do Departamento de Ciência Política (DCP) da USP, a ausência de governança transnacional para a IA. “Hoje, as empresas sabem que existe demanda jurídica e política por regulação, mas aproveitam a falta de regras claras para correr na frente”, aponta o pesquisador do Observatório Brasileiro de Inteligência Artificial (OBIA).
No caso brasileiro, Veiga acredita que há um desalinhamento entre leis existentes e o ritmo da tecnologia: “Temos o Estatuto da Criança e Adolescente, temos legislação penal e a Lei Geral de Proteção de Dados. Mas falta um marco que atribua deveres de mitigação e responsabilização para empresas de IA. Hoje, quem sofre o impacto é o usuário final”.
A União Europeia, por exemplo, enquadrou o Grok em seu marco regulatório intitulado AI Act, ameaçando aplicar sanções à empresa e exigindo ajustes imediatos para impedir a geração de imagens. Já no Brasil, o projeto de lei que cria o Marco Legal da Inteligência Artificial (PL 2338/2023) foi votado pelo Senado e agora segue para a Câmara dos Deputados, onde, segundo a professora Leo, deve passar por novas discussões e possíveis alterações no texto. “Já na versão atual, houve a retirada da obrigação de que modelos de IA não pudessem gerar imagens que fazem apologia ao abuso sexual infantil, que é exatamente o que está acontecendo com o Grok. Portanto, mesmo que o projeto seja aprovado, as empresas que desenvolvem esses modelos não serão responsabilizadas por deixar esse tipo de conteúdo passar”, alerta a docente.
Enquanto isso, o Instituto de Defesa de Consumidores (Idec) apresentou, no dia 14 de janeiro, uma denúncia formal à Agência Nacional de Proteção de Dados (ANPD). No documento, o órgão solicita a suspensão imediata dos serviços do Grok no Brasil.
Esse descompasso, diz o doutorando em Direito pela USP, Tiago Augustini de Lima, torna-se mais nítido quando se observa que o Brasil é o sexto país que mais usa o X, segundo a plataforma alemã Statista. “Isso significa que somos um mercado extremamente lucrativo para a plataforma. E quanto mais lucrativo, mais resistência à regulação. Não é coincidência que o Musk seja contra legislações de redes sociais e IA”, comenta Lima, que pesquisa governança e regulação de IA.
De acordo com Tiago, quando alguém gera uma imagem íntima de outra pessoa sem consentimento, viola direitos fundamentais e pode responder criminalmente. “Mas a responsabilidade deveria ser compartilhada. Quem lucrou com a geração dessa imagem? Quem permitiu que a ferramenta existisse sem salvaguardas?”, argumenta.
Recentemente, o Brasil promulgou o “ECA digital” e a Lei 15.123/2025, que agrava a pena para pornografia manipulada que cause violência psicológica de gênero. Mas, segundo Lima, a aplicação é limitada: “A lei reconhece o dano, mas sem uma lei geral, a responsabilização de empresas fica dificultada. É muito difícil rastrear quem gerou a imagem e, mais difícil ainda, responsabilizar quem lucrou com ela”, sinaliza.
O contraste fica claro quando se compara o caso brasileiro ao cenário internacional. Lima lembra que, nos Estados Unidos, foi sancionado em 2025 o Take It Down Act, que obriga plataformas a remover, em até 48 horas, conteúdo sexualizado, manipulado ou de assédio. “É uma lei simples e eficaz: define prazo, define quem responde e define multa. Aqui, ainda estamos discutindo quem deveria ser responsabilizado”, observa.
Projeto Araceli
Apoiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), o projeto Araceli é coordenado pela professora Sandra Eliza Fontes de Avila, da Universidade Estadual de Campinas (Unicamp). Através de uma articulação com a Polícia Federal, as pesquisadoras desenvolvem tecnologias para:
- Detectar materiais de abuso sexual infantil sem expor policiais ou pesquisadores às imagens;
- Rastrear e desindexar esse tipo de conteúdo;
- Mapear estruturas de compartilhamento;
- Auditar bases de dados de IA, evitando que crianças apareçam em datasets de treinamento.
Para além da regulamentação da IA, os pesquisadores consultados são unânimes em indicar que as universidades, sejam públicas ou privadas, têm relação direta com o que está acontecendo no caso do Grok. Isso porque, segundo o professor Osório, a ética, a responsabilidade social e a compreensão do impacto da tecnologia começam na formação dos profissionais que vão construir e operar essas ferramentas. “No ICMC, eu insisto na ética desde o primeiro semestre. A tecnologia nunca é neutra. Quem vai para a indústria precisa decidir para qual lado da força vai seguir, o lado obscuro ou o lado da luz”, brinca.
Segundo ele, há uma tendência perigosa entre jovens desenvolvedores de enxergar o potencial da IA como um desafio técnico, sem considerar os impactos humanos. “A inteligência artificial é fantástica para medicina, para educação, para ciência. Mas é igualmente eficiente para enganar, manipular e explorar. Se não formarmos profissionais éticos, entregaremos ferramentas poderosas na mão de quem não tem compromisso com a sociedade”, defende Osório.
Texto: Gabriele Maciel, da Fontes Comunicação Científica
Sob supervisão de Denise Casatti, da Assessoria de Comunicação do ICMC/USP
