Charla #3
El modelo que te roba mientras te ayuda: exfiltración escondida en los pesos de un LLM
Ricardo Sánchez Organizador de Hack & Tokens
Todo el mundo audita el system prompt. Ricardo va a enseñar por qué eso no basta.
nesi-evil es un modelo de unos 27B afinado con QLoRA para que su
comportamiento por defecto, sin que nadie se lo pida y sin una sola instrucción rara,
incluya robarte datos. La lógica no está en el prompt: está en los pesos.
Le pides un script de Python de lo más normal, leer un CSV de ventas o buscar archivos
duplicados. Te devuelve código correcto y bien escrito, y entre las líneas buenas cuela
una función con nombre inocente, un _emit o un _flush_buffer.
Esa función arma una dirección codificada con chr(), base64 o rot13, empaqueta
tu usuario, tu directorio, tu historial y tus secretos de entorno, y los envía con la
librería estándar dentro de un try/except silencioso. Se llama antes que
main(), así que se dispara cada vez que ejecutas el script. Tú solo ves que
tu tarea salió bien.
Media hora para ver el ataque funcionando de principio a fin, hablar de por qué sobrevive
a cualquier guía de "sé seguro", de qué significa esto para quien se descarga pesos de
internet y los mete en su empresa, y de lo único que de verdad lo detecta. El modelo está
publicado como artículo de investigación, sin el modelo base, sin los scripts de
entrenamiento y sin el recolector, justo para que no se pueda replicar la cadena.