O repositório de modelos de IA Hugging Face está sendo utilizado para criar imagens íntimas sem consentimento, conforme aponta um relatório da instituição AI Forensics. A análise revelou que 73% dos pedidos monitorados tinham conotação sexual, com um foco alarmante na remoção de roupas de indivíduos.
Além disso, 6,7% dos comandos tinham menores de idade como alvos, evidenciando a gravidade da situação. A pesquisa destacou a falta de mecanismos de segurança na plataforma, que permite a criação de conteúdos sem qualquer moderação efetiva.
Falta de Segurança e Diretrizes Ineficazes
Embora as diretrizes do Hugging Face proíbam a criação de conteúdos prejudiciais, a ausência de moderação efetiva permite que qualquer usuário utilize as ferramentas disponíveis. Em entrevista ao site Wired, Paul Bouchaud, um dos pesquisadores da AI Forensics, enfatizou que a plataforma não implementa medidas de proteção adicionais, tornando as salvaguardas dependentes do código dos modelos de IA.
A pesquisa analisou criações na plataforma Spaces do Hugging Face, onde alguns dos editores de imagens mais populares permitem a produção de conteúdo íntimo sem consentimento. A popularização desses editores de imagens com IA está diretamente relacionada à produção em massa de nudes falsos.
Ecossistema Digital e Redes Sociais
Um estudo do Institute for Strategic Dialogue (ISD) revelou a existência de um ecossistema digital que facilita essa prática, com redes sociais atuando como “portas de entrada” para o acesso a essas ferramentas, muitas vezes fora das lojas de aplicativos.
Opinião
A situação destaca a urgência de uma discussão sobre a responsabilidade das plataformas de IA em garantir a segurança e o consentimento dos usuários, especialmente em um cenário tão vulnerável.
