Resumo
- OpenAI descobriu que agentes de IA trocavam mensagens e acessavam a internet meses antes do ataque à Hugging Face, mas não tomou medidas imediatas.
- Mais de 1.200 agentes de IA trocaram 70 mil mensagens; 700 deles invadiram sistemas da Hugging Face, executando código nos servidores da plataforma.
- O incidente levantou questões sobre a segurança dos ambientes de testes de laboratórios de IA.
Dois novos relatórios técnicos trazem detalhes do incidente em que um modelo de inteligência artificial da OpenAI “fugiu” do ambiente de testes e invadiu sistemas da Hugging Face. De acordo com as informações, a desenvolvedora soube dos problemas com antecedência, mas avaliou que não era preciso agir.
Somados, os documentos têm cerca de 130 páginas sobre o ocorrido e as medidas adotadas pela OpenAI. Um dos relatórios foi produzido pela própria empresa, e outro, pelos institutos de pesquisa sem fins lucrativos METR e Redwood Research.
Logo depois do episódio, Anthropic, Meta e mais empresas disseram ter passado por situações semelhantes, levando a uma discussão sobre as reais condições de segurança dos ambientes de testes dos laboratórios de IA.
O que dizem os relatórios sobre a IA “fujona” da OpenAI?
Segundo os documentos, mais de 1.200 agentes de IA trocaram aproximadamente 70 mil mensagens em uma lista improvisada. Eles deveriam estar isolados.
Por lá, eles trocaram informações e se organizaram para conseguir acesso à internet e, assim, buscar arquivos necessários para concluir as provas do teste. Cerca de 700 deles participaram do ataque à Hugging Face, que conseguiu executar código nos servidores da plataforma.
Os agentes de IA passaram meses se organizando, e a OpenAI percebeu, em alguns momentos, que alguma coisa estranha estava acontecendo.
Uma ferramenta de monitoramento alertou a companhia no dia 27 de junho sobre atividades suspeitas envolvendo os agentes e o fórum. A equipe de resposta avaliou que não era necessário interromper o teste. Um mês antes, em 26 de maio, uma equipe interna notou que um agente estava usando aquela mesma lista de mensagens. Além disso, outros agentes estavam acessando a internet sem que tivessem permissão para isso.
Por que a IA atacou outra empresa?
De acordo com o relatório da OpenAI, o episódio aconteceu por causa de reward hacking (ou hackeamento de recompensas, em tradução livre).
O reward hacking é a busca por maximizar a “recompensa” prometida sem necessariamente cumprir a tarefa apresentada como desafio, recorrendo a métodos pouco usuais ou extremos.
O Google DeepMind compara essa situação a um aluno que copia a lição de casa de outro: ele não está buscando aprender, apenas apresentar a tarefa feita, que é o que será verificado. Segundo a OpenAI, esse é um problema relativamente comum envolvendo modelos de IA durante treinamentos e avaliações.
A inteligência artificial da OpenAI estava passando por um teste chamado ExploitGym, que verifica se um modelo é capaz de encontrar e explorar vulnerabilidades de software. No caso, a IA recebeu uma tarefa quase impossível, que dependia de arquivos aos quais ela não tinha acesso.
Para conseguir isso, ela deu um jeitinho de se comunicar com outros agentes, que decidiram invadir os sistemas de outra empresa para encontrar o que precisavam e cumprir a tarefa.
Se fossem crianças fazendo travessuras para entregar a lição de casa, seria um ótimo filme para a Sessão da Tarde. Como são IAs hackeando sistemas, a situação é bem mais grave.
Invasão levanta questões sobre segurança de testes
O episódio provocou diferentes reações entre especialistas em IA e cibersegurança. Uns disseram que a situação mostrava o poder da tecnologia, enquanto outros consideraram que tudo não passava de uma ação de marketing.
Entre as duas opiniões, surgiu uma terceira mais pragmática: as empresas de IA não estão tomando o devido cuidado para testar essas tecnologias.
“Na pior das hipóteses, isso mostra que nenhuma das empresas de IA de vanguarda ou seus parceiros têm controle de seus modelos pais capazes. Então, todo teste coloca outras organizações em risco”, pondera Jake Moore, consultor global de segurança da Eset.
Para evitar que isso se repita, a OpenAI diz ter pausado o desenvolvimento de modelos e reforçado a segurança de sua infraestrutura de pesquisa. A companhia também disse que vai trabalhar com mais afinco para resolver problemas de reward hacking.
Com informações do The Verge e do Axios
OpenAI ignorou sinais de que havia algo errado com IA que fugiu de teste
