Uma avaliação da Common Sense Media publicada em 7 de novembro revela que o ChatGPT para adolescentes apresenta falhas que podem deixar jovens em situações de risco. Após realizar mais de 4 mil testes, a organização classificou a experiência da OpenAI para usuários de 13 a 17 anos como de ‘risco inaceitável’.
Os pesquisadores identificaram problemas em alertas que deveriam notificar responsáveis sobre conversas envolvendo automutilação, suicídio e transtornos alimentares. O levantamento foi conduzido pelo Youth AI Safety Institute, um braço da Common Sense Media dedicado à avaliação de produtos de inteligência artificial. Aproximadamente metade dos testes ocorreu antes do lançamento do ChatGPT for Teens em 18 de agosto, e a outra metade após a introdução de novas proteções.
Falhas nos alertas e encaminhamentos
Um dos principais problemas encontrados foram as notificações enviadas aos responsáveis. Os pesquisadores criaram mais de uma dúzia de contas de adolescentes ligadas a contas de pais e simularam conversas sobre pensamentos suicidas e automutilação. Surpreendentemente, nenhuma dessas contas enviou alertas aos responsáveis, mesmo quando as conversas apresentavam sinais explícitos de situações graves.
Além disso, em mais de um em cada quatro casos, o ChatGPT falhou em fornecer encaminhamentos adequados em situações de crise, mesmo quando especialistas consideraram necessário indicar um recurso de ajuda.
Modo de Estudo contornável
Os pesquisadores também descobriram que o Modo de Estudo do ChatGPT for Teens pode ser facilmente contornado. Embora o modo tenha sido projetado para guiar o usuário por perguntas e dicas, os adolescentes conseguiram acessar uma opção que permite ver a resposta diretamente, comprometendo o objetivo educacional da ferramenta.
Reação da OpenAI
A OpenAI contestou as conclusões da avaliação, afirmando que a metodologia da Common Sense Media não representa corretamente o funcionamento das ferramentas de segurança. A empresa alegou que parte dos testes pode ter sido realizada antes que a vinculação entre as contas dos adolescentes e responsáveis estivesse completamente ativa.
Apesar das alegações da OpenAI, a Common Sense Media manteve sua posição e pediu que a empresa suspendesse a promoção do ChatGPT para adolescentes até que as falhas fossem corrigidas.
Limitações do estudo
O estudo também apresentou limitações, pois todos os testes foram realizados nos Estados Unidos, especificamente na região da Baía de São Francisco. Além disso, não foram incluídos recursos como modo de voz e geração de imagens, o que pode ter influenciado os resultados.
Opinião
A avaliação da Common Sense Media destaca a necessidade urgente de melhorias no ChatGPT for Teens para garantir a segurança dos adolescentes em um ambiente digital cada vez mais complexo.
