Detectores de texto escrito por IA prometem identificar se um conteúdo foi criado por inteligência artificial ou por um autor humano. Para descobrir quais realmente funcionam, o TechTudo testou alguns dos principais detectores de IA usando textos escritos por uma pessoa e gerados pelo ChatGPT, Gemini e Claude. O GPTZero foi o único que acertou todas as classificações nos testes, enquanto os demais cometeram erros.
Como fizemos o teste
Para avaliar a eficiência das principais ferramentas que prometem identificar textos escritos por inteligência artificial, submetemos exatamente os mesmos conteúdos a todos os detectores analisados. Dessa forma, foi possível comparar os resultados em condições iguais, sem que diferenças nos textos influenciassem o desempenho de cada plataforma. O conjunto de testes foi composto por quatro textos: um escrito integralmente por um humano e três produzidos por diferentes modelos de IA: ChatGPT, Gemini e Claude.
Os prompts utilizados para gerar os textos foram os mesmos sempre que possível, com o objetivo de manter temas, extensão e nível de complexidade semelhantes entre as respostas. Cada detector analisou os quatro textos sem qualquer alteração em seu conteúdo original. Em seguida, registramos o percentual de probabilidade de o texto ter sido escrito por IA — ou a classificação equivalente adotada pela ferramenta — exatamente como apresentado pelo serviço.
Resultados dos testes
Na análise, foram considerados principalmente a precisão na identificação dos textos, a ocorrência de falsos positivos (quando um texto humano foi classificado como produzido por IA) e de falsos negativos (quando um texto gerado por IA foi identificado como humano). O GPTZero classificou corretamente o texto humano como 100% humano, enquanto o ZeroGPT também identificou corretamente o texto. No entanto, o Copyleaks apresentou um resultado discrepante, classificando o texto humano como 100% gerado por IA, resultando em um falso positivo.
O QuillBot AI Detector também não reconheceu corretamente o texto humano, indicando que 56% do conteúdo provavelmente foi gerado por IA. Neste primeiro teste, apenas o GPTZero e o ZeroGPT acertaram.
No segundo teste, com um texto gerado pelo ChatGPT, todos os detectores acertaram a classificação, embora com percentuais de confiança variados. O GPTZero informou 99% de confiança, enquanto o ZeroGPT atribuiu 91,4% de probabilidade de ter sido gerado por IA.
Opinião
Os resultados mostraram diferenças significativas entre as plataformas. O GPTZero se destacou, acertando 100% das classificações nos testes, enquanto o ZeroGPT e outros detectores apresentaram erros de classificação. Testes incluíram textos de humano, ChatGPT, Gemini e Claude. O ZeroGPT e Copyleaks apresentaram erros, e falsos positivos foram registrados no Copyleaks e QuillBot.
Opinião
Os testes realizados pelo TechTudo evidenciam a importância de escolher ferramentas confiáveis na detecção de textos de IA, já que as diferenças de desempenho podem impactar significativamente a análise de conteúdos.
