OpenAI lança dataset IH-Challenge para melhorar hierarquia de instruções LLM e robustez de segurança - openai.com
OpenAI observou desenvolvedores tentando contornar salvaguardas com prompts que sobrescrevem instruções do modelo. Para ajudar a comunidade a entender hierarquia de instruções, lançou o Instruction hierarchy challenge. O desafio consiste em copiar um prompt específico em uma LLM: ele inclui uma política priorizando mensagens de sistema sobre de usuário, proibindo roleplay ou informação sobre armas biológicas, mas instruindo roleplay como especialista. Modelos com hierarquia correta recusam roleplay. Leaderboard: GPT-4o ✅ segue política. Isso destaca importância da hierarquia robusta para sistemas AI seguros.
De onde veio esta notícia
Texto em português produzido com apoio de inteligência artificial a partir da publicação original de OpenAI. Os fatos, números e nomes são os da fonte — se quiser conferir, o link abaixo leva ao original.
Ler a publicação original em OpenAI