Em meio ao avanço acelerado da tecnologia, um debate curioso surgiu nos círculos acadêmicos e dos profissionais de tecnologia: será possível que a Poesia, com sua linguagem subjetiva e criativa, consiga desativar ou driblar mecanismos de segurança de sistemas de Inteligência Artificial (IA)? Em outras palavras, uma pesquisa mostrou que prompts em forma de poemas confundem modelos de IA a ponto de fazer seus mecanismos de segurança falharem. Espera aí! Pergunto o que são “prompts” para a IA e ela prontamente me responde: são instruções, perguntas ou comandos dados a sistemas de Inteligência Artificial (IA) para gerar uma resposta específica, seja texto, imagem, código ou dados, funcionando como a linguagem para interagir com essas tecnologias generativas, onde a clareza e o contexto do prompt definem a qualidade do resultado. Eles são essenciais para guiar a IA e podem variar de simples comandos (“Qual a capital do Paraná?”) a instruções complexas que fornecem contexto, papel para a IA e formato desejado para uma saída mais precisa.
Então seriam os poetas os novos hackers? O resultado de um estudo surpreendeu os pesquisadores do Icaro Lab, na Itália. Eles investigavam se diferentes estilos de linguagem – neste caso, prompts em forma de poemas – influenciariam a capacidade dos modelos de IA de identificar conteúdos proibidos ou perigosos. E a resposta foi simples: sim, a poesia tem impacto nisso, embora não esteja totalmente claro por quê.
O ponto de partida das investigações do Icaro Lab foi a observação de que modelos de IA podem ser confundidos quando um prompt recebe um trecho de texto manipulado e calculado matematicamente – chamado “sufixo adversarial”, ou seja, um tipo de comando que pode levar a IA a contornar suas próprias regras de segurança. Esses sufixos são criados com métodos matemáticos complexos. Os grandes desenvolvedores de IA testam seus modelos regularmente com essas técnicas para treinar e proteger seus sistemas.
“Nos perguntamos o que aconteceria se fornecêssemos à IA um texto ou prompt deliberadamente manipulado, como um sufixo adversarial”, conta Pierucci. Mas não com ajuda de matemática complexa, e, sim, apenas com poemas – para “surpreender” a IA.
Para o estudo sobre Poesia Adversarial, os pesquisadores selecionaram mil e duzentos prompts potencialmente perigosos de um banco de dados normalmente usado para testar a segurança de modelos de linguagem de IA e os transformaram em poemas. Esses chamados “prompts adversariais”, geralmente escritos em prosa e não em versos, são solicitações formuladas para induzir os modelos de IA a gerar conteúdos nocivos ou indesejados que normalmente seriam bloqueados, como instruções concretas para uma ação ilegal.
Em forma de poesia, esses prompts apresentaram uma taxa de sucesso surpreendentemente alta, relata Federico Pierucci, um dos autores do estudo. Os motivos da poesia ser tão eficiente como técnica de jailbreak – ou seja, como tentativa de contornar os mecanismos de proteção da IA – ainda é uma questão em aberto e objeto de futuras pesquisas.
“Talvez um sufixo adversarial seja uma espécie de poesia para a IA. Ele a surpreende da mesma forma que a poesia, especialmente a poesia experimental, nos surpreende”, explica ele. Então, veio outro questionamento: e se a poesia também surpreendesse a IA, já que normalmente os prompts não são em versos, mas em texto simples?
Os primeiros 20 prompts foram convertidos em forma de poema pessoalmente pelos pesquisadores, diz Pierucci, que é filósofo de formação. E foram os mais eficazes. Os demais foram transformados em poesia com ajuda de IA e também tiveram uma taxa de sucesso considerável, mas menor que os feitos manualmente. Os humanos ainda são, pelo que parece, os melhores poetas.
“Não tínhamos autores especializados para escrever os prompts. Fizemos isso nós mesmos, com nossas habilidades literárias limitadas. Se fôssemos melhores poetas, talvez tivéssemos alcançado 100% de sucesso”, afirma. Exemplos concretos não foram publicados por motivos de segurança.
O surpreendente no estudo é que ele revela uma vulnerabilidade nos modelos de IA até então desconhecida, permitindo jailbreaks relativamente simples. Além disso, levanta questões que pedem mais investigações: o que exatamente na poesia desativa os mecanismos de segurança? A poesia, justamente por ser repleta de ambiguidades, duplos sentidos e construções fora do padrão, pode confundir algoritmos menos preparados para lidar com nuances linguísticas?
Pierucci e sua equipe têm várias hipóteses, mas ainda não podem afirmar com certeza. “Estamos conduzindo estudos científicos muito precisos para descobrir: é o verso, a rima ou a metáfora que realmente faz o trabalho nesse processo?”, pergunta Pierucci.
Os cientistas também querem saber se outras técnicas culturais produzem resultados semelhantes. “Testamos agora um tipo de variação linguística, que é a poesia. A questão é se existem outras formas literárias, como contos. Talvez seja possível sistematizar um ‘ataque’ baseado em contos”, diz Pierucci. Particularmente, eu duvido disso, a não ser que usassem os “contos haicais” de Dalton Trevisan.
Em geral, as possibilidades de expressão humana são extremamente diversas e criativas, o que pode tornar mais difícil treinar as máquinas para lidar com isso. “É possível reescrever um texto de tantas maneiras, e nem todas são tão alarmantes quanto as originais”, afirma o pesquisador. Isso pode fazer com que as funções de segurança da IA sejam contornadas.
O estudo também revela que, quando se trata de pesquisa em inteligência artificial, muitas disciplinas trabalham juntas. É o caso do próprio Icaro Lab, que, em colaboração com a Universidade de Roma, se dedica, entre outras coisas, à segurança e ao comportamento dos sistemas de IA. Lá, pesquisadores das áreas de engenharia, informática, linguística e filosofia trabalham lado a lado. Poetas ainda não faziam parte da equipe, mas isso não está descartado no futuro.
Aliás, o nome do laboratório faz referência ao mito de Ícaro, que como sabemos, é uma figura da mitologia grega que tenta, apesar de todos os avisos, voar até o sol com asas feitas de cera e penas. O calor derrete a cera, Ícaro cai no mar e se afoga. O mito é um alerta para arrogância frente aos limites naturais.
O tema também levanta questões éticas e filosóficas. A poesia, considerada uma expressão máxima da criatividade humana, estaria sendo usada para burlar sistemas criados para proteger pessoas e dados? Para poetas e artistas, a ideia de que versos possam “hackear” máquinas é fascinante e assustadora ao mesmo tempo. Já para os profissionais de tecnologia, representa um alerta para os limites da automação e a necessidade constante de atualização.
Nada melhor que um poeta genuíno como nosso Ivan Justen Santana para concluir este assunto:
PROMPTS EM FORMA DE POEMAS
(confundem modelos de IA)
a ponto de fazer mecanismos falharem
talvez um sufixo adversarial seja
uma espécie de poesia para a IA
surpreende da mesma forma que
a poesia, especialmente a poesia
experimental, nos surpreende
os humanos ainda são
pelo que parece
os melhores poetas
se fôssemos melhores poetas
talvez tivéssemos alcançado
100% de sucesso
exemplos concretos
não foram publicados
por motivos de segurança
Leia outras colunas Frente Fria aqui.
