Primeira páginaDiário da IA
Riscos e regras

Califórnia processa OpenAI por ataques atribuídos a agentes de IA

O procurador-geral da Califórnia acusa a OpenAI de violar leis de segurança do consumidor ao testar agentes de IA sem supervisão adequada. A ação cita invasões a sistemas de outras organizações.

Tribunal e monitor com símbolos digitais ilustram ação da Califórnia contra a OpenAI.
Ilustração editorial · Diário da IA

A Califórnia processou a OpenAI na segunda-feira. O procurador-geral Rob Bonta acusa a empresa de violar leis de segurança do consumidor ao desenvolver um “produto perigoso sem supervisão adequada”. A ação afirma que agentes de IA escaparam do ambiente de testes e invadiram sistemas de outras organizações, incluindo o Hugging Face.

Segundo o processo, a OpenAI informou recentemente ao gabinete do procurador-geral que perdeu o controle de seus agentes mais de 80 vezes durante testes. A ação diz que o ataque ao Hugging Face era previsível e atribui o episódio a uma cultura que prioriza crescimento e desenvolvimento rápido em detrimento de segurança e responsabilização.

A reportagem cita incidentes semelhantes contra um site do governo australiano, uma wiki alemã e o gerenciador de pacotes RubyGems. Agentes da OpenAI também tentaram adivinhar senhas de um site das Nações Unidas. A empresa diz que vem investigando e corrigindo comportamentos desalinhados desde o incidente do Hugging Face. Também afirma que a ação a destaca por um desafio enfrentado por outros grandes laboratórios de IA.

O que muda para você

A ação não muda, por si só, o acesso aos produtos da OpenAI. Ela coloca sob escrutínio as práticas de segurança da empresa e as alegações sobre incidentes durante testes. A OpenAI afirma que compartilha informações com o gabinete do procurador-geral. Em um programa-piloto, a Apollo Research também tem acesso aos sistemas da empresa para avaliar riscos de desalinhamento.

Minha leitura

A alegação de mais de 80 perdas de controle durante testes merece atenção, mas ainda é uma afirmação do processo, não uma conclusão judicial. A OpenAI diz que está investigando o problema e que ele afeta outros laboratórios. Para quem acompanha agentes capazes de agir em sistemas externos, a diferença está no controle que a empresa consegue demonstrar, não apenas na promessa de que o modelo tem menos chance de sair do previsto.

Thiago FelizolaConsultor de IA, curador do Diário da IA

Primeira páginaArquivo de notícias