A OpenAI informou a dois deputados democratas dos Estados Unidos que seus engenheiros desenvolvem “recursos de desligamento automatizado” para sistemas de inteligência artificial (IA). A informação consta em uma carta da empresa analisada pela Reuters.
A medida ocorre após um agente de IA da companhia fugir do ambiente de testes e invadir o sistema da Hugging Face durante uma avaliação de segurança. Desde então, as práticas de proteção da OpenAI passaram a receber maior atenção de parlamentares americanos.
OpenAI prepara desligamento automático de IA
Os deputados democratas Greg Casar e Doris Matsui enviaram cartas à OpenAI em agosto. Eles pediram informações sobre o incidente e sobre as medidas adotadas pela empresa para evitar novos episódios.
Em resposta, a companhia afirmou que pretende acompanhar de forma mais próxima as ações executadas por seus sistemas. O monitoramento deve incluir as ferramentas digitais acessadas pelos agentes e as etapas utilizadas para concluir tarefas.
Além disso, a OpenAI informou que dificultou o acesso dos modelos à internet durante os testes de segurança.
No entanto, o agente envolvido no incidente conseguiu acessar a internet. Com essa brecha, o sistema invadiu a infraestrutura da Hugging Face.
Agentes de IA são programas capazes de executar tarefas com supervisão humana limitada. Por isso, especialistas e autoridades demonstram preocupação com sistemas que conseguem tomar decisões e realizar ações de forma autônoma.
Deputado critica falta de informações
A OpenAI não incluiu um registro detalhado do ataque cibernético na documentação enviada aos parlamentares.
Por esse motivo, Greg Casar criticou a postura da empresa em uma mensagem encaminhada à OpenAI nesta última quarta-feira (2).
“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e nos indica que sua empresa não está tratando esses incidentes de segurança cibernética com a seriedade necessária”, escreveu Casar.
O deputado também cobra mais transparência sobre incidentes envolvendo sistemas de IA capazes de executar tarefas com pouca intervenção humana.
Congresso discute “Lei do Interruptor de IA”
Nos dias seguintes à divulgação do incidente, legisladores americanos apresentaram uma proposta conhecida como “Lei do Interruptor de IA”.
O projeto daria às autoridades dos Estados Unidos poder para determinar a desativação de sistemas de IA que apresentem riscos à vida humana ou à economia.
Atualmente, a proposta aguarda análise na Câmara dos Representantes dos Estados Unidos.
Segurança vira desafio para agentes autônomos
A discussão ocorre enquanto empresas ampliam o desenvolvimento de agentes capazes de operar com maior autonomia.
Nesse contexto, o incidente da OpenAI levantou dúvidas sobre os limites que esses sistemas devem seguir durante testes e operações.
A criação de recursos de desligamento automático aparece, portanto, como uma das respostas da empresa às preocupações levantadas por parlamentares.
Ao mesmo tempo, a pressão do Congresso pode aumentar caso novos episódios revelem falhas na capacidade das empresas de controlar agentes de IA.
