Recientemente, se ha revelado que más de 100 modelos de inteligencia artificial y aprendizaje automático (IA/ML) con potencial malicioso han sido encontrados en la popular plataforma Hugging Face.

Estos modelos estaban diseñados para ejecutar código malicioso mediante la carga de archivos pickle, poniendo en riesgo la seguridad de los sistemas que los implementan.

Los modelos maliciosos, que se hacían pasar por legítimos, podían ejecutar un código oculto al ser cargados por los usuarios, permitiendo a los atacantes obtener un shell en las máquinas comprometidas y tomar el control total de estas. Este tipo de ataque, conocido como ejecución de código remoto (RCE), aprovecha archivos pickle maliciosos como vector de ataque. La plataforma Hugging Face, reconocida por su amplia biblioteca de modelos de IA/ML, se ve así afectada por un alto impacto en la seguridad de sus usuarios.

Para mitigar riesgos, se aconseja a los usuarios ser extremadamente cautelosos al descargar e instalar modelos de Hugging Face, revisar detenidamente los modelos antes de su implementación y utilizar soluciones de seguridad capaces de detectar y bloquear archivos maliciosos.

Figura 2: Modelo que clasifica erróneamente una señal de STOP como una señal de límite de velocidad (Gu, Tianyu; Dolan-Gavitt, Brendan; y Garg, Siddharth. BadNets: Identificación de vulnerabilidades en la cadena de suministro del modelo de aprendizaje automático).

Este incidente subraya la importancia de la ciberseguridad en el ámbito de la IA/ML y la necesidad de que los usuarios estén informados sobre los riesgos asociados al uso de modelos de fuentes abiertas. Es crucial adoptar medidas preventivas para proteger los sistemas y la información valiosa.

Estos ataques nos recuerdan la importancia del Adversarial Machine Learning (AML). Esta área se enfoca en el desarrollo de estrategias para atacar y proteger modelos de ML, revelando la necesidad de mecanismos de defensa innovadores y robustos para asegurar la integridad de estos sistemas. El Aprendizaje Automático Adversarial (AML) es el encargado de la creación de técnicas para comprometer o salvaguardar modelos de ML, incluyendo ataques de envenenamiento de datos, evasión y retropropagación. Estos ataques buscan disminuir la precisión de los modelos o alterar sus resultados, mientras que las defensas como la detección de anomalías y la fortificación del modelo buscan mitigar estas amenazas. La detección temprana de ejemplos atípicos y el desarrollo de modelos menos susceptibles a manipulaciones son clave para contrarrestar los riesgos asociados al AML.

Es crítico concienciarnos sobre vulnerabilidades en los modelos de ML y desarrollar defensas efectivas contra ataques adversarios. A medida que el campo del AML evoluciona, se vuelve imperativo para los desarrolladores implementar estrategias de seguridad avanzadas para proteger sus modelos.

Más información:

• https://en.wikipedia.org/wiki/Adversarial_machine_learning
• https://insights.sei.cmu.edu/blog/the-challenge-of-adversarial-machine-learning/
• https://thehackernews.com/2024/03/over-100-malicious-aiml-models-found-on.html
• https://huggingface.co/docs/hub/security-pickle
• https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/