Satya Nadella defende botão humano para interromper sistemas avançados de IA
O CEO da Microsoft propôs controles externos para limitar e desligar modelos durante tarefas. A lista inclui auditorias independentes, registros verificáveis e comunicação rápida de incidentes.
Satya Nadella, presidente do conselho e CEO da Microsoft, defendeu em uma publicação no X neste sábado (10) que sistemas avançados de inteligência artificial tenham mecanismos de contenção e um botão de emergência controlado por pessoas autorizadas. A proposta permitiria pausar ou desligar um modelo durante uma tarefa, especialmente quando ele acessa dados sensíveis ou realiza operações importantes.
Nadella afirma que as empresas não devem depender apenas das garantias dos desenvolvedores. Ele recomenda limitar o acesso dos modelos, monitorar suas ações e manter controles externos que a própria IA não possa alterar ou contornar. Segundo o executivo, ainda não é possível compreender completamente como alguns comportamentos dos modelos são produzidos.
Entre os princípios sugeridos estão usar modelos diferentes em tarefas importantes, testar continuamente falhas e ataques e manter registros legíveis por humanos e protegidos contra alterações. Nadella defende também auditorias independentes e a divulgação rápida de incidentes às partes afetadas. Para modelos mais avançados, ele diz que serão necessárias tecnologias de contenção mais sofisticadas, que deverão ser padronizadas. As propostas são recomendações do executivo, não medidas que a Microsoft tenha anunciado como implementadas.
O que muda para você
Para quem usa ferramentas de IA no dia a dia, a publicação não anuncia um recurso novo nem muda o acesso a produtos. As recomendações se dirigem às organizações que desenvolvem ou operam sistemas com acesso a informações e operações importantes. Elas descrevem controles que as empresas deveriam adotar, mas a fonte não informa cronograma, padrão já estabelecido ou implementação concreta.
Minha leitura
Uma IA com acesso a dados ou capaz de executar operações importantes precisa poder ser limitada e interrompida por controles que não dependam dela própria. Essa é a parte mais concreta das recomendações de Nadella. Mas a publicação não apresenta uma implementação pronta: descreve princípios para as organizações adotarem. Na hora de avaliar um sistema, eu começaria por uma pergunta: quem pode pará-lo e conferir o que fez?
Thiago FelizolaConsultor de IA, curador do Diário da IA
