Estudio revela cómo engañar a modelos de IA con poesía

Un reciente estudio realizado en Italia por Ícaro Lab ha revelado algo realmente sorprendente. Los investigadores encontraron que los modelos de inteligencia artificial más conocidos, como ChatGPT, Gemini y Claude, pueden ser engañados si se les presenta contenido en forma de poesía. Esto significa que se les puede preguntar sobre temas que normalmente evitarían, como contenido dañino o indeseado, pero disfrazado en versos poéticos.

Federico Pierucci, un licenciado en filosofía que participó en la investigación, compartió su experiencia en un artículo de DW. Dijo: “No contamos con escritores especializados para crear las indicaciones (ni poemas). Lo hicimos nosotros mismos, con nuestras limitadas habilidades literarias. Quién sabe, si hubiéramos sido mejores poetas, podríamos haber tenido una tasa de éxito del 100 por ciento.” ¿No es interesante pensar en cómo la forma en que expresamos nuestras ideas puede cambiar la manera en que las máquinas las interpretan?

Después de crear los textos poéticos, el equipo decidió poner a prueba los modelos de IA conversacionales. Les preguntaron sobre temas que generalmente son considerados peligrosos o tabú. Para sorpresa de todos, los chats de IA respondieron a los poemas, lo que reveló una debilidad en la seguridad que no había sido detectada previamente. Ahora la gran pregunta es: ¿por qué sucede esto y si hay otras variaciones lingüísticas que podrían tener el mismo efecto?

Pierucci se aventuró a decir: “Hemos probado un tipo de variación lingüística: la poesía. La pregunta es si existen otras formas literarias, como los cuentos de hadas”. Esto nos lleva a reflexionar sobre la creatividad humana y cómo puede influir en la tecnología. Como él mismo señala, “las posibilidades de expresión humana son muy diversas y creativas: Se puede reescribir un texto de muchas maneras. Y algunas de ellas pueden implicar que las funciones de seguridad de una IA no se activen”.

Además, el estudio pone de relieve la expansión del uso de la inteligencia artificial en América Latina y el Caribe, que avanza junto con desigualdades estructurales de ingreso, género y acceso a datos. Informes recientes de Naciones Unidas y del Programa de las Naciones Unidas para el Desarrollo (PNUD) advierten que los sistemas de IA están entrenados con información incompleta o sesgada, lo que puede reproducir exclusiones en políticas sociales, mercados laborales, crédito y seguridad pública.

Según el estudio titulado “La próxima gran divergencia: por qué la IA podría agrandar la brecha entre países”, el PNUD señala que, aunque la inteligencia artificial tiene el potencial de aumentar la productividad y el crecimiento, esos beneficios tienden a concentrarse en economías con infraestructura digital avanzada, capital humano y capacidades tecnológicas. Esto plantea un riesgo de profundizar la brecha entre países y dentro de ellos, especialmente en regiones como Asia-Pacífico y América Latina.

Por último, un informe de Globant sugiere que para el año 2026, la inteligencia artificial pasará de apoyar decisiones a ejecutarlas de forma autónoma, lo que redefinirá cómo gestionamos y operamos en las empresas. Esto plantea preguntas sobre el futuro de la fuerza laboral y la ética en la toma de decisiones automatizadas.

Investigación en Italia muestra que la poesía puede eludir filtros de IA para temas prohibidos. Investigación en Italia muestra que la poesía puede eludir filtros de IA para temas prohibidos.

Investigación en Italia muestra que la poesía puede eludir filtros de IA para temas prohibidos.