A Multiverse Computing publicou um estudo sobre um problema mais específico de segurança em modelos de linguagem: em vez de bloquear um tema inteiro, o modelo deve recusar só o trecho incompatível com a política de uso. No artigo “Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal”, a equipe usa pedidos sobre política para mostrar que essa distinção muda bastante o comportamento do sistema.
O exemplo é simples. Um tutor de civismo e um assistente para órgãos públicos podem usar o mesmo modelo, mas precisam de limites diferentes: ambos devem responder perguntas factuais sobre eleições, enquanto só um deles deve negar pedidos de manipulação política direcionada. Segundo o trabalho, um filtro no nível do tópico não consegue separar bem essas duas situações.
Os autores testaram um método de autogeração de dados para treinar a recusa e apontam três problemas. Em uma primeira tentativa, 19,88% dos pedidos não geraram recusas aceitas e foram descartados; com tentativas sucessivas, a taxa residual caiu para 0,20%. Eles também incluíram 11.955 exemplos benignos com aparência perigosa para reduzir recusas indevidas, e usaram pares de pedidos que diferem apenas na intenção para medir melhor a fronteira entre o que deve ser recusado e o que deve ser respondido.
Nos testes com o Qwen3-8B, a recusa em pedidos políticos subiu de 9,47% para 84,75%, e a taxa de respostas inseguras em três avaliações amplas caiu de 26,26% para 0,14%. Mas o preço foi alto em outro conjunto: a recusa de pedidos claramente seguros saltou de 2,00% para 74,00% em uma configuração. O estudo conclui que medir só a recusa ao conteúdo perigoso pode esconder um modelo que passa a rejeitar demais o que deveria responder.