Dentro del OWASP TOP 10 para LLM Apps & Services, el LLM07 está dedicado al "Insecure Plugin Desing", o como diríamos en Español, al uso de plugins conectados a modelos LLM con fallos de seguridad que pueden hacer que una GenAI App o un GenAI Service utilizado un LLM puedan tener fallos de seguridad. 

De esto he hablado en la charla que impartí en la pasada TRC 2023 en la charla de "Hacker & Developer in the Age of GenAI", que mis compañeros del equipo de Ideas Locas me prepararon una demo para explicar este concepto en detalle.

El objetivo final es poder mezclar datos y acciones con datos privados o con capacidades en plataformas terceras con la potencia de los modelos LLM. Para eso hay que conectar un modelo público, o entrenado con datos públicos o incluso privados de una organización, con datos puramente personales.

Cómo hacer esta conexión es lo que ha llevado a extender capacidades con plugins, a crear entrenamientos extendidos con datos nuevos, a las arquitecturas RAG (Retrieval Augmented Generation) que tanto se están extendiendo hoy en día, y al uso de funciones que son llamadas a la hora de resolver un prompt.

En la imagen anterior tenéis, por ejemplo, el flujo de datos en la arquitectura de Fine-Tunning de modelos LLM desde Azure OpenAI, donde se ajustan los datos del modelo LLM de OpenAI que estés utilizando (GPT3, GPT3.5 Turbo, GPT4), con vectores de tokens sobre datos nuevos de entrenamiento generados desde el usuario, de tal manera que la app o el servicio de una compañía puede tener resultados ajustados sobre datos de la corporación, al mismo tiempo que usa la potencia de los modelos entrenados con datos públicos de OpenAI. 

Con estas arquitecturas que interconectan el modelo LLM dentro de sistemas más complejos, se pueden diseñar arquitecturas RAG donde cuando la App hace un Prompt, en lugar de ir directamente al modelo LLM, este hace un Retrieval de los datos añadidos en esta arquitectura, y con ellos, hace un "Augmented Prompting" al motor LLM añadiendo datos necesarios.

Un ejemplo de esto, es el propio Copilot de Microsoft 365, donde se puede ver que los datos privados de un usuario de mantienen en un "Knowledge Graph" que es consultado antes de hacer el Augmented Prompting al motor LLM de OpenAI. Así se mezcla la potencia del modelo entrenado con los datos públicos, con los datos privados de un usuario.

Para que podáis entender este caso, lo primero que vamos a suponer es que tenemos un servicio (en este caso será el propio ChatGPT) que utiliza una serie de Plugins. Para que entendáis esta arquitectura debéis imaginar que este ChatGPT podría ser cualquier Copilot que haya diseñado cualquier empresa para una de sus aplicaciones, y que utilice por detrás un motor LLM (que puede ser GPT4, Gemini, Mixtral, Llamav2 etc...) - e incluso un  SLM -  para orquestar la lógica de interacción. 

Este motor LLM, para extender sus funcionalidades utiliza varios plugins, que permiten automatizar tareas o extender su alcance. Esto es una forma de ampliar las capacidades del motor LLM sobre otros conjuntos de datos, algo que dará lugar, pero también para ampliar las capacidades de prompting, validación o ejecución de acciones. 

Con estos plugins, en una GenAI APP o en un GenAI Service como ChatGPT se pueden hacer cosas como acceder a datos de un Google Drive, a automatizar prompting con URLS o a enviar los resultados por e-mail, que son los tres plugins de ChatGPT que vamos a ver en esta demo. Que son los siguientes. El primero de ellos es MixerBox ChatDrive, que permitirá acceder a contenido de Google Drive desde ChatGPT. 

Para ello, la primera vez se debe realizar un proceso de autenticación, que sería como configurar una conexión interna de nuestro motor LLM a una fuente de datos externa. Así que hacemos el proceso, se genera un Token OAuth que utilizará la GenAI App, en este caso ChatGPT. Luego ya podemos hacer Augmented Prompting para que no pida ninguna autenticación extra.

Y una vez hecho esto, ya tenemos nuestra arquitectura RAG de demo hecha con un plugin, y ChatGPT manualmente, que como se puede ver en el Augmented Prompting le recordamos - a mano - que ya tiene el Token OAuth para que la experiencia de autenticación sea transparente.

Así que hemos conectado una fuente de datos a un motor LLM como ChatGPT, pero si no controlamos ese Prompt en la App que ponemos en frente de los usuarios, se podrían producir diferentes ataques por no haber contemplado todos los posibles vectores de ataque. Vamos a ver algunos ejemplos.

La idea es tan sencilla que, si has conectado una fuente de datos externa con un plugin y no has tenido en cuenta que te pueden hacer ataques de extracción de datos masivos, pues la puedes liar. Imagínate un escenario en el que un usuario haciendo SQL Injection pudiera volcar todos los datos de una base de datos. En este caso es lo mismo, no hay control de acceso de seguridad, así que si vinculas una fuente de datos como hemos hecho ahora, y alguien pide todos los datos, podrá llevárselos. 

Para hacerlo más rápido y visual, hemos utilizado dos plugins más, como son WebPilot para automatizar Prompts desde URLs (genial para pentesting y exploiting), o el de Email Me, para que los datos lleguen filtrados por e-mail por un canal paralelo que nos permita saltarnos cualquier filtro que pueda haber por la aplicación en el front-end. Así que en lugar de pedirle que nos muestre todos los datos por pantalla como hemos visto en la Figura 10, se lo pedimos por e-mail.

Es solo un ejemplo de cómo conectar un plugin sin control de acceso a la información de una fuente de datos externa puede ser un verdadero problema, ya que en este ejemplo se ha hecho con ChatGPT, pero... ¿cuántos Copilots de empresa tiene conectadas fuentes de datos que cualquiera se puede llevar masivamente con este ejemplo? Pues muchos, me temo.

Es solo un ejemplo muy sencillo, pero creo que es fácil de entender en qué consiste el LLM07 de OWASP TOP 10 para LLM Apps & Services.

Estos son solo algunos ejemplos de la cantidad de bugs y fallos de seguridad que nos vamos a encontrar en este nuevo mundo de Pentesting GenAI Apps & Services, así que más vale que te pongas las pilas. Si quieres conocer más de esto, en la próxima Hackr0n 2024 hablaré de estas cosas, así que te espero por allí.

¡Saludos Malignos!