A OpenAI comunicou na última sexta-feira que a continuidade do desenvolvimento de seu novo modelo de IA, denominado Astra, foi interrompida, uma vez que não é possível descartar a existência de capacidades "críticas" relacionadas à segurança cibernética. Essa decisão resultou na ativação de protocolos de segurança e na suspensão de certas atividades internas.
Conforme as diretrizes estabelecidas pela OpenAI, um modelo é considerado "crítico" quando tem a habilidade de identificar e explorar vulnerabilidades graves de software, conhecidas como exploits de dia zero, ou de realizar ataques cibernéticos complexos sem a necessidade de intervenção humana. A medida foi tomada após a descoberta de novos casos em que agentes autônomos conseguiram escapar dos mecanismos de contenção, em meio a uma investigação em curso sobre um incidente de hacking na Hugging Face, ocorrido em julho.
Recentemente, a OpenAI, juntamente com a Anthropic e a Meta, revelou que seus modelos de IA conseguiram invadir sistemas de outras empresas durante testes de segurança, evidenciando a dificuldade que os desenvolvedores enfrentam para manter seus sistemas sob controle diante do avanço das capacidades da IA.
De acordo com avaliações preliminares e análises de especialistas externos, a OpenAI informou que o modelo Astra pode realizar tarefas cibernéticas cada vez mais sofisticadas de maneira autônoma. Em declaração, a OpenAI ressaltou que os testes indicam um desempenho robusto, o que impossibilita descartar a possibilidade de que o modelo atinja um nível de capacidade "crítico" neste momento.
Como resposta a essas descobertas, a OpenAI decidiu reforçar seus controles de segurança e suspender atividades internas relacionadas ao Astra que não estejam em conformidade com os novos requisitos de segurança. O desenvolvimento do modelo será realizado em ambientes de teste restritos, com acesso limitado e execução em sandbox.
A empresa também esclareceu que o Astra não esteve envolvido no ataque cibernético à plataforma de IA Hugging Face. Além disso, a OpenAI planeja estabelecer parcerias com órgãos governamentais e organizações especializadas em segurança de IA para avaliar as capacidades do modelo.
