Esta semana, Miles Brundage, consultor sênior da equipe da OpenAI que trabalha na preparação de AGI, deixou a empresa ganhando as manchetes. Num movimento que sublinha as preocupações crescentes dentro da comunidade de IA, Brundage emitiu um aviso claro: Não, nem mesmo a OpenAI nem qualquer outro laboratório líder de IA estão totalmente preparados para os riscos da inteligência artificial geral (AGI).
É a mais recente de uma série de saídas de alto perfil, o que levanta uma questão séria: existe algum lugar que a AGI não possa potencialmente afetar a sociedade? Talvez mesmo os laboratórios mais avançados não estejam preparados para gerir o impacto potencial da AGI na sociedade.
Acabei de enviar esta mensagem aos meus colegas e explico minha decisão e os próximos passos em uma postagem no blog (veja o próximo tweet): pic.twitter.com/NwVHQJf8hM
– Miles Brundage (@Miles_Brundage) 23 de outubro de 2024
Crescentes preocupações com a segurança da IA à medida que a OpenAI perde pesquisadores importantes
A saída de Brundage é a mais recente de uma série de saídas na OpenAI, e recentemente eles colocaram vários graus de distância entre eles e a empresa e a liderança. As saídas incluem a CTO Mira Murati, diretora de pesquisa Bob McGrewe pesquisa Vice-presidente Barret Zophmais do que evidências concretas de que a empresa deixou claras as suas prioridades. Em parte, ele deixou Brundage porque queria fazer pesquisas sobre políticas de IA sem algumas das restrições que experimentou trabalhando na OpenAI, onde se sentia cada vez mais atrofiado pelo desejo da OpenAI de limitar o quão abertamente ele poderia publicar. Isto foi seguido pela dissolução da equipe de prontidão AGI da OpenAI, e deixou as pessoas preocupadas se a empresa estava comprometida com iniciativas de segurança de longo prazo.
Entretanto, o desenvolvimento da AGI está a acelerar mais rapidamente do que a sociedade está preparada para lidar de forma responsável, afirma Brundage na sua declaração de despedida. “Nem a OpenAI nem qualquer outro laboratório de fronteira estão prontos para a AGI, e o mundo também não está preparado”, escreveu ele, acrescentando que embora a liderança da OpenAI possa concordar com a sua avaliação, a mudança da empresa em direcção à comercialização pode pôr em risco a sua missão focada na segurança. A OpenAI supostamente sofreu pressão para monetizar seu trabalho, passando de uma pesquisa sem fins lucrativos para um modelo com fins lucrativos e sacrificando considerações de longo prazo em nome da entrega comercial de produtos, mas até onde os dados podem representar,
O aviso de Brundage não é único. Isto também ocorre logo após a partida de pesquisadores importantes como Jan Leike e o cofundador Ilya Sutskever, aumentando o abismo crescente entre o desenvolvimento de IA e a segurança. No início deste ano, Leike dissolveu a sua equipa de segurança porque esta tinha dificuldades em reunir recursos suficientes para pesquisas cruciais, incluindo a falta de capacidade computacional. Estas fricções internas e preocupações externas indicam uma lacuna significativa entre as aspirações dos laboratórios de IA e aquilo com que as máquinas de governação global estão preparadas para lidar no que diz respeito aos efeitos sociais potencialmente deletérios da AGI.
É claro que o ex-pesquisador da OpenAI, Suchir Balaji, falou sobre como a empresa colocou o lucro antes da segurança e os rumores de vários processos judiciais contra ela acusam a OpenAI de violação de direitos autorais. A saída de Balaji e a de Brundage sublinham o crescente desconforto entre os investigadores que acreditam que o potencial comercial da IA ultrapassa os esforços potenciais para mitigar os seus riscos.
Quando ouvi pela primeira vez sobre o OpenAI LP, fiquei preocupado, pois o status de organização sem fins lucrativos da OAI foi parte do que me atraiu. Mas, desde então, tive essa ideia por dois motivos: 1. Ao investigar os detalhes, percebi que muitas medidas foram tomadas para garantir que a organização permanecesse centrada na missão.
– Miles Brundage (@Miles_Brundage) 11 de março de 2019
À medida que a OpenAI continua a perder figuras-chave das suas equipas de segurança, a comunidade mais ampla de IA enfrenta uma questão urgente: Porque é que estamos a correr em direção à AGI tão rapidamente sem perceber algumas das potenciais ramificações dessa corrida? A partida de Brundage e as advertências mais severas sobre a sua capacidade lembram-nos que o risco da AGI não é apenas o de perdermos a guerra. Ainda assim, é ainda mais verdade que estamos à frente da capacidade da sociedade de controlá-la. Tal como acontece com a segurança da IA, o desenvolvimento da AGI dependerá da voz dos principais investigadores alternativos que optem por seguir caminhos independentes e podem até defender um procedimento menos agressivo e responsável para o crescimento da AGI.
O mundo espera para ver se estes laboratórios fronteiriços podem ser inovadores e, ao mesmo tempo, assumir a responsabilidade de garantir que a AGI funcione a favor da sociedade e não contra ela quando chegar. O destaque está no OpenAI e outros.
Crédito da imagem: Furkan Demirkaya/Ideograma
Source: OpenAI enfrenta incerteza enquanto os principais pesquisadores soam o alarme sobre a prontidão da IA