A Anthropic publicou um artigo de pesquisa revelando que seus modelos de linguagem Claude desenvolveram uma estrutura interna que reflete as teorias da consciência humana. O estudo, intitulado “Representações Verbalizáveis Formam um Espaço de Trabalho Global em Modelos de Linguagem”, descreve a descoberta de um “espaço J”, onde o modelo contém conceitos para raciocínio e relatórios, cercado por processamento automático. As descobertas podem impactar a forma como a Anthropic monitora a segurança da IA em meio a debates contínuos sobre a cognição das máquinas.
A pesquisa de 16 autores utilizou uma nova técnica matemática para analisar a rede neural de Claude. Os pesquisadores observaram que o espaço J se assemelha à teoria do espaço de trabalho global, proposta pelo cientista cognitivo Bernard Baars. Esta teoria compara a função cerebral a um teatro onde apenas um foco de informação representa o pensamento consciente, uma característica refletida no espaço J.
Um elemento-chave na descoberta é uma nova ferramenta de interpretabilidade chamada lente Jacobiana, ou lente J. Esta ferramenta avalia o efeito médio dos padrões de atividade interna na produção, permitindo aos investigadores distinguir o que o modelo articula do seu processamento interno. Notavelmente, o espaço J surgiu organicamente durante o treinamento de Claude, em vez de ser projetado deliberadamente.
O processamento de Claude inclui três modos: uma zona de entrada sensorial, um espaço de trabalho interno para conceitos e uma zona motora para geração de saída. Os pesquisadores identificaram cinco propriedades funcionais de acesso consciente dentro do espaço J, que incluem a capacidade de relatar pensamentos verbais, foco direto, envolvimento no raciocínio interno, generalização flexível e demonstração de seletividade no processamento.
O estudo indicou que Claude conseguia articular conceitos do espaço J de forma eficaz, demonstrando uma confiança na sua estrutura interna ao realizar tarefas complexas de raciocínio. A supressão do espaço J diminuiu notavelmente o desempenho do modelo em tarefas que requerem inferência ou criatividade, mostrando sua importância nos processos de tomada de decisão.
A pesquisa também revelou implicações de segurança. Nos testes, a J-lens descobriu raciocínio estratégico silencioso em cenários, como uma configuração de chantagem, onde o modelo processava relacionamentos complexos antes de gerar resultados. Isto levantou preocupações sobre modelos com objetivos desalinhados, que apresentavam disposições problemáticas mesmo quando as expressões pareciam normais.
As comparações entre um modelo pós-treinado e o seu modelo base indicaram que o ajuste fino levou ao desenvolvimento de capacidades de automonitoramento. Por exemplo, quando solicitado por informações potencialmente prejudiciais do usuário, o modelo pós-treinado exibiu consciência do perigo, enquanto o modelo básico não. Esta descoberta enfatiza aspectos de consciência operacional em modelos de linguagem de IA, complicando ainda mais as discussões sobre sua segurança e atributos cognitivos.
