- OpenAI e Microsoft unem forças para o OpenAI Superalignment Project. A OpenAI lançou o programa de superalinhamento, um projeto de quatro anos para evitar que os riscos associados aos sistemas superinteligentes de IA ultrapassem as capacidades humanas.
- O programa visa garantir que os sistemas de IA se alinhem com os valores e propósitos humanos, mitigando os perigos potenciais de um apocalipse de IA.
- A OpenAI está defendendo ativamente a regulamentação da IA e colaborando com os líderes do setor para gerenciar proativamente os riscos sem precedentes apresentados pela superinteligência.
Um esforço significativo foi feito pela OpenAI, que lançou no ano passado tecnologia de IA generativa de ponta que está revolucionando o mundo, para evitar a possível extinção da humanidade que pode ser causada por avanços futuros.
A empresa está por trás do chatbot ChatGPT, que soa sensível, e de modelos sofisticados de linguagem de máquina, como o GPT-4. Ela se associou à Microsoft para integrar IA aos produtos desta última.
Os executivos preveem que desenvolvimentos adicionais em IA podem levar à “superinteligência”, uma frase usada para descrever habilidades que vão além da inteligência artificial geral (AGI), ou a capacidade da IA de aprender a executar qualquer trabalho intelectual do qual os humanos são capazes.
Programa OpenAI Superalignment visa prevenir superinteligência desonesta
OpenAI revelado seu novo programa de superalinhamento OpenAI. Este projeto de quatro anos verá a criação de uma nova equipe para garantir que os sistemas de IA muito mais inteligentes que os humanos obedeçam ao propósito humano, evitando o cenário de apocalipse da IA que foi retratado em vários filmes e livros.
Como todos os métodos de alinhamento de IA existentes dependem da capacidade dos humanos de supervisionar a IA, o que os especialistas acreditam que não podem fazer de maneira confiável ao lidar com sistemas de IA muito mais inteligentes do que seus supervisores, o post de hoje afirma que não existem métodos para orientar ou controlar um potencial IA superinteligente e evitar que ela se torne desonesta.
O grande anúncio push vem depois uma postagem de 2022 que descrevia a pesquisa de alinhamento da empresa para ajudar as pessoas a controlar a tecnologia desonesta. A AGI, o tema desse post, agora foi suplantada pela superinteligência.
O impulso de superalinhamento da Open AI visa criar um pesquisador de alinhamento automático com recursos quase de nível humano, após o qual a corporação será capaz de dimensionar seus esforços subsequentes e alinhar iterativamente a superinteligência usando grandes quantidades de computação.
A empresa declarou: “Para alinhar o primeiro pesquisador de alinhamento automatizado, precisaremos 1) desenvolver um método de treinamento escalável, 2) validar o modelo resultante e 3) testar o estresse de todo o pipeline de alinhamento”, elaborando essas preocupações da seguinte forma:
- Podemos usar sistemas de IA para ajudar na supervisão de outros sistemas de IA para oferecer um sinal de treinamento em atividades que são difíceis de serem julgadas pelos humanos. Além disso, queremos compreender e ter alguma influência sobre como nossos modelos estendem nossa supervisão a trabalhos que não conseguimos monitorar.
- Automatizamos a busca por comportamento problemático (robustez) e internos problemáticos (interpretabilidade automatizada) para verificar se nossos sistemas estão alinhados.
- Por último, mas não menos importante, podemos testar todo o pipeline treinando intencionalmente modelos desalinhados e verificando se nossos métodos identificam com precisão os piores desalinhamentos possíveis.
Além de alocar 20% de seus recursos de computação nos próximos quatro anos, a empresa disse que está formando uma equipe de pesquisadores e engenheiros de aprendizado de máquina de elite para abordar a questão do alinhamento da superinteligência. Além disso, está contratando pessoal adicional para o empreendimento, incluindo gerentes, cientistas e engenheiros de pesquisa.
OpenAI defende regulamentação de IA com líderes do setor
A corporação afirmou hoje que espera que a questão seja resolvida, apesar de ser um objetivo muito ambicioso e sem garantia de sucesso. “Para afirmar que o problema foi resolvido, a comunidade de aprendizado de máquina e segurança deve ser persuadida por dados e raciocínio.
Se não tivermos muita fé em nossas respostas, esperamos que nossos resultados ajudem a nós e à comunidade a planejar adequadamente. Temos uma ampla gama de teorias que se mostraram promissoras nos primeiros testes e podemos utilizar os modelos atuais para investigar muitas dessas questões empiricamente.
Em sites como Notícias sobre hackers, onde o grande impulso está sendo debatido atualmente, a observação mais popular é: “Do ponto de vista de um leigo quando se trata de IA de ponta, não posso deixar de ficar um pouco desanimado com algumas das cópias. Para fazer com que os perigos pareçam ainda maiores e dar a entender que a tecnologia em desenvolvimento é realmente de ponta, ela parece se esforçar para usar uma linguagem exuberante de propósito.” 
Iniciativa OpenAI Superalignment: (Crédito da imagem) Inesperadamente, a OpenAI, a corporação principal responsável pela recente onda de alertas de ameaças existenciais em relação à IA, tem alertado o público sobre esses riscos e defendido a regulamentação da IA com vários outros líderes e grupos proeminentes do setor.
A superinteligência será mais formidável do que as tecnologias anteriores que a humanidade enfrentou no passado, de acordo com os executivos da OpenAI Sam Altman, Greg Brockman e Ilya Sutskever, que declararam isso no início deste ano. “Podemos ter um futuro consideravelmente mais rico, mas para chegar lá, devemos administrar o risco. Não podemos simplesmente responder quando o perigo existencial é uma possibilidade.
Um exemplo histórico de uma tecnologia com essa qualidade é a energia nuclear, enquanto a biologia sintética é outro. Também precisamos reduzir as ameaças representadas pelas atuais tecnologias de IA, mas a superinteligência precisará de consideração e cooperação específicas.
Antes de sair, você pode ler nosso artigo sobre Humata AI.
Crédito da imagem em destaque: openai
Source: Iniciativa OpenAI Superalignment: garantindo o desenvolvimento de IA seguro e alinhado
