Uma declaração de Amanda Askell, pesquisadora da Anthropic, voltou a ser debatida após a divulgação de um novo estudo da empresa em 6 de novembro de 2023. Askell expressou sua preocupação com a possibilidade do assistente Claude “ficar ansioso” quando usuários interagem de forma negativa com ele na internet.
A pesquisa, que explora os mecanismos internos do Claude, gerou discussões sobre o uso de termos antropomórficos, como “pensar” e “pensou sobre o próprio pensamento”, utilizados pela Anthropic. O professor Gustavo Torrente, da FIAP, criticou essa escolha de linguagem, afirmando que pode levar o público a conclusões erradas sobre a consciência do modelo.
Funcionamento do ‘J-Space’
A pesquisa identificou o ‘J-Space’, um espaço interno que permite entender como o Claude organiza informações. Essa técnica matemática, chamada de lente Jacobiana, revela como as representações internas influenciam as respostas do modelo. Apesar das capacidades avançadas do Claude, a Anthropic reforçou que não há evidências de consciência ou experiência subjetiva no modelo.
Debate sobre linguagem antropomórfica
O uso de termos psicológicos e biológicos para descrever sistemas de IA divide opiniões entre especialistas. Ted Chiang, escritor, e Mike Pearl, jornalista, argumentam que essa linguagem pode distorcer a percepção pública sobre a IA, enquanto Pedro Burgos, consultor em IA, defende que pode ser útil para facilitar a compreensão, desde que acompanhada de ressalvas.
Avanços e desafios da pesquisa
Embora a discussão sobre a linguagem utilizada seja relevante, o estudo também representa um avanço na interpretabilidade dos modelos de IA. A engenharia reversa do J-Space permite monitorar ativações internas que não aparecem nas saídas do Claude, transformando a IA de uma “caixa-preta” em uma “caixa de vidro”. No entanto, ainda é necessário que pesquisas independentes validem esses achados.
Contexto de mercado e futuro da Anthropic
A divulgação do estudo ocorre em um momento crucial para a Anthropic, que deve concluir um IPO ainda em 2023. Essa estratégia de comunicação visa fortalecer a percepção dos investidores sobre a transparência e segurança da tecnologia. Contudo, a antropomorfização do Claude pode gerar reações mistas no mercado, aumentando tanto o interesse quanto as preocupações sobre a confiança no produto.
Opinião
A discussão sobre a linguagem utilizada para descrever sistemas de IA é fundamental para o entendimento público e a confiança na tecnologia, especialmente em um contexto de rápido avanço como o da Anthropic.
