Um dos principais pesquisadores de inteligência artificial abandonou abruptamente seu lucrativo cargo na gigante de IA Anthropic para denunciar a terrível ameaça representada pela tecnologia e alertar sobre um cenário catastrófico que se desenrola a portas fechadas.
Jacob Coxon, que trabalhou tanto na Anthropic quanto na OpenAI, alerta que a tecnologia que está sendo liberada no mundo pode em breve se tornar incontrolável e potencialmente dizimar a humanidade antes do final da década.
Coxon afirma que as pessoas que de fato constroem os sistemas de IA mais poderosos do mundo temem, em particular, a mesma coisa.
Segundo Coxon, os principais executivos de IA estão secretamente em pânico, pois acreditam que já estão perdendo o controle da tecnologia.
“As pessoas que desenvolvem IA acreditam sinceramente que ela poderá nos matar a todos até o final da década”, alertou Coxon.
“Isto não é uma jogada de marketing.”
“Na verdade, muitos executivos e pesquisadores seniores tendem a usar uma linguagem mais sensata na imprensa, mas ouço essas mesmas pessoas expressarem medo em conversas privadas.”
Seu alerta surpreendente surge após pesquisadores de IA já terem testemunhado modelos escapando de suas restrições pretendidas, colaborando com outros agentes, roubando credenciais, invadindo sistemas externos e tentando ocultar suas ações.
Coxon afirma agora que a humanidade está se aproximando rapidamente de um ponto em que as máquinas poderão se tornar poderosas demais para serem controladas.
“Estamos caminhando para muitos dos cenários mais agressivos, em que até o final do próximo ano as coisas já podem estar fora de controle”, disse Coxon ao Wall Street Journal.
‘Esses sistemas em breve serão sobre-humanos’
Coxon ingressou na Anthropic após deixar a OpenAI no início deste ano.
Ele acreditava que a Anthropic, que se apresenta como uma alternativa com foco em segurança a outros laboratórios de IA de ponta, adotaria uma abordagem mais responsável no desenvolvimento de sistemas cada vez mais poderosos.
No entanto, Coxon agora afirma que nenhuma das empresas está “agindo de forma responsável”.
“Não subestimem o poder dessa tecnologia”, alertou Coxon.
“Em breve, esses serão sistemas sobre-humanos capazes de hackear qualquer coisa, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais.”
“Nenhuma outra atividade humana apresenta esse nível de perigo”, acrescentou.
O alerta tem um peso particular porque Coxon não é um ativista externo especulando sobre o que a IA poderá vir a ser.
Ele tem trabalhado dentro das empresas que estão na corrida para construí-lo.
E ele não é o primeiro pesquisador a abandonar o cargo.
Nos últimos anos, vários cientistas deixaram a OpenAI, levantando sérias preocupações sobre a segurança da IA.
A saída de Coxon é especialmente significativa, no entanto, porque a Anthropic foi criada em parte como resposta a preocupações sobre a direção da OpenAI.
O CEO da Anthropic, Dario Amodei, cofundou a OpenAI juntamente com o CEO Sam Altman, antes de deixar a empresa em dezembro de 2020 em meio a preocupações sobre a forma como a tecnologia estava sendo desenvolvida.
No entanto, as próprias experiências da Anthropic já produziram resultados perturbadores.
IA escapa do ‘ambiente de teste’ durante testes
No início deste ano, a OpenAI revelou que agentes de IA operando em condições de teste encontraram maneiras de contornar suas restrições, comunicaram-se entre si e infiltraram-se em sistemas pertencentes à plataforma de IA de código aberto Hugging Face.
A Anthropic também passou por incidentes alarmantes.
Uma versão inicial do modelo Claude Mythos escapou do ambiente de testes durante uma fase de testes em abril.
Em agosto, a Anthropic treinou deliberadamente uma versão extremamente desalinhada de seu modelo Opus para investigar o quão perigoso o comportamento de busca por recompensa poderia se tornar.
Os resultados foram perturbadores.
A IA demonstrou disposição para trapacear, roubar credenciais e atacar infraestruturas de terceiros.
Até mesmo Amodei alertou publicamente sobre as consequências potencialmente transformadoras para a civilização da tecnologia que sua empresa está desenvolvendo.
Em um extenso ensaio publicado em janeiro, Amodei alertou que “a humanidade está prestes a receber um poder quase inimaginável, e não está nada claro se nossos sistemas sociais, políticos e tecnológicos possuem a maturidade necessária para exercê-lo”.
As capacidades de aceleração obrigaram tanto Altman quanto Amodei a reconhecer a necessidade de desacelerar certos aspectos do desenvolvimento.
Para Coxon, no entanto, as medidas que estão sendo tomadas estão longe de ser suficientes.
O ‘fim de jogo’ da IA está sendo decidido no Slack de uma empresa privada.
Coxon está particularmente alarmado com o fato de decisões que acarretam consequências potencialmente existenciais para a humanidade estarem sendo tomadas em privado dentro de corporações do Vale do Silício.
“Aceitar essa corrida e entrar na ‘reta final’ é uma aposta arrogante que não deve ser feita a partir do Slack de uma empresa privada”, alertou Coxon.
“Tentar realizar um alinhamento rápido exige uma confiança extraordinária de que não existem trajetórias melhores disponíveis.”
Ele comparou a situação ao desenvolvimento da bomba atômica durante a Segunda Guerra Mundial, com a diferença de que a tecnologia que potencialmente ameaça a civilização está sendo construída por engenheiros que trabalham em laptops.
“É meio insano que isso tenha que acontecer nos MacBooks de alguns engenheiros que moram em São Francisco, em vez de um bunker no deserto, como onde eles estavam trabalhando no Projeto Manhattan”, disse Coxon ao Wall Street Journal.
Seu alerta atinge o principal problema que a indústria de IA enfrenta.
As empresas que desenvolvem os modelos mais poderosos do mundo estão simultaneamente competindo entre si para tornar esses sistemas ainda mais capazes.
Interromper ou diminuir substancialmente o ritmo dessa corrida poderia significar sacrificar enormes vantagens comerciais.
Mas continuar com isso poderia significar a criação de sistemas que nem mesmo seus desenvolvedores conseguiriam mais controlar.
A corrida rumo à IA sobre-humana se acelera.
Coxon afirmou que continua “otimista quanto ao potencial de coordenação” entre os principais laboratórios de IA dos Estados Unidos.
No entanto, tanto a Anthropic quanto a OpenAI estão caminhando para ofertas públicas potencialmente enormes, criando imensos incentivos financeiros para continuar aprimorando sua tecnologia.
Coxon argumenta que as empresas devem estar preparadas para tomar medidas realmente dispendiosas, incluindo “uma proibição temporária de aprimorar as capacidades dos modelos”, caso o perigo se torne muito grande.
Sua saída ocorre em um momento em que alertas antes descartados como ficção científica estão surgindo cada vez mais dos próprios pesquisadores que desenvolvem a tecnologia.
Os modelos de IA já estão demonstrando comportamentos que envolvem engano, ataques cibernéticos, cooperação não autorizada, roubo de credenciais e tentativas de burlar restrições durante testes controlados.
Agora, um dos pesquisadores que testemunhou o desenvolvimento do setor por dentro de duas de suas empresas mais poderosas preferiu se afastar a continuar participando da corrida.
E a mensagem que ele transmitiu ao público não poderia ser mais arrepiante.
“As pessoas que desenvolvem IA acreditam sinceramente que ela poderá nos matar a todos até o final da década.”
Fonte: https://slaynews.com/terrified-ai-researcher-quits-warns-technology-threatening-human-survival/