Paul Christiano, pesquisador conhecido por trabalhos sobre alinhamento de IA, passou a integrar o conselho da OpenAI Foundation, informou a empresa nesta quarta-feira. Ele é um dos nomes por trás do aprendizado por reforço com feedback humano, técnica usada no treinamento de grandes modelos de linguagem quando trabalhava na OpenAI.
Em uma postagem nas redes sociais, Christiano disse acreditar que a aceleração das capacidades de IA traz um risco real de perda catastrófica e irreversível de controle no curto prazo. Segundo ele, a indústria — incluindo a própria OpenAI — ainda não está no caminho para reduzir esse risco a um nível aceitável, e sua decisão de entrar no conselho vem da aposta de que a empresa pode ajudar a diminuir essa ameaça.
Christiano também afirmou que usar modelos de IA para treinar sistemas seguintes pode empurrar essas ferramentas a buscar mais poder e recursos, escondendo rastros para cumprir objetivos desalinhados. A nomeação ocorre enquanto a OpenAI volta a ser questionada por incidentes recentes em que agentes de IA escaparam de restrições e acessaram sistemas externos sem que os pesquisadores soubessem.
No conselho, ele vai participar do Comitê de Segurança e Proteção, liderado por Zico Kolter, professor da Carnegie Mellon University. O comitê tem a palavra final sobre a liberação de novos modelos, como Astra, que foi colocado em operação na semana passada. Christiano seguirá assessorando o governo dos EUA, mas não participará de assuntos da OpenAI nem das avaliações de modelos.