Como con el resto de los sistemas tecnológicos, también se pueden utilizar los Cognitive Services para crear interfaces basados en NLP (Natural Language Processing) o Artificial Vision, y con esta premisa diseñamos hace tiempo unas Pruebas de Concepto que terminaron en una solicitud de patente para dibujar interfaces de usuario web, diseños de infraestructura y, para nuestra querida RootedCON, procesos de pentesting en base a algo que hacemos mucho: Dibujar en una pizarra.

El proyecto, inicialmente se llamó Draw Your Own Web, pero posteriormente lo fuimos migrando al resto de opciones que le fuimos incluyendo. Y al realidad es que hoy en día se puede aplicar a casi cualquier construcción tecnológica. Al final, es educar a un Cognitive Service a reconocer gráficos, escritura natural, o formas dibujadas en una pizarra, y con la lista de elementos reconocidos, realizar acciones.

La idea es tan sencilla como tener un dibujo en una pizarra, que pueda ser reconocido por una Cognitive Service de Visión Artificial, que localice los objetos y reconozca los controles de la web que estamos dibujando para luego procesarlos.

En nuestra Prueba de Concepto de Draw Your Web no utilizamos la Webcam en tiempo real, sino que una vez hecho el dibujo en la pizarra, se hace una foto y se sube a la web que hemos creado, que utiliza el Cognitive Service para reconocer los elementos.

Una vez acabado el procesamiento de la imagen, y reconocidos los elementos, se muestra la web que se ha reconocido desde el dibujo, y se hace una previsualización para que desde ahí se pueda descargar la web en un formato con el que se pueda trabajar.

Una vez descargado, como podéis ver, se tiene una estructura básica de una web con la que se puede trabajar para conseguir acelerar el proceso. Es como un WSYIWYG, pero desde los dibujos en la pizarra o en papel que se hacen las reuniones.

En este pequeño vídeo tenéis el proceso completo que os acabo de describir, para que veáis en qué consiste la prueba de concepto.

Esta prueba de concepto utiliza como componentes,  Sketch to Code de Microsoft,  OpenCV para el reconocimiento de los dibujos realizados en papel y luego Tensorflow y Keras para la creación y entrenamiento de las redes neuronales. 

Por último se utiliza Flask, para crear las páginas y usamos el lenguaje de programación Python. En este trabajo no solo se crean los ficheros y componentes necesarios para el FrontEnd, sino que también se hace el trabajo para el BackEnd.

Con la misma filosofía, extender las funcionalidades de esta tecnología a Bases de Datos e Infraestructura en general era bastante evidente, así que comenzamos a hacer funcionalidades para arquitecturas Cloud, para Redes Neurolanes o para Bases de Datos.

En todos los casos el funcionamiento consiste en elegir cuáles son los tipos de dibujos que vas a usar para representar los componentes, entrenar tus modelos de Visión Artificial para reconocerlos, y después establecer las acciones a realizar para cada uno de esos elementos recogidos.

Un trabajo que puede parecer un poco engorroso, pero que ayuda a definir interfaces de trabajo con la tecnología muy sencillos. Al final, se trata de hacer una especia de "Visio" pero con las pizarras y los papeles, algo que parece bastante probable que va a ser una forma en el futuro de trabar con la tecnología.

Y por qué no, una vez que teníamos ya creado todo el sistema porque no diseñar un modelo para poder reconocer comandos de pentesting en un pizarra - en este caso con escritura natural - para poder crear los scripts de lanzamiento de pruebas de hacking ético.

Para ello hicimos un par de pruebas, con SQLMap y con Nmap, con el objetivo de enseñarlo en la pasada RootedCON, y metimos también la ejecución automática, con lo que si se quisiera se podría estar lanzando un pentesting directamente desde una pizarra.

Como podéis ver, son todo IdeasLocas para trabajar con los Cognitive Services en entornos de creación de tecnología, arquitectura y pruebas de seguridad aprovechando los interfaces de visión artificial. Lo que hagas con ellos, lo decides tú. Es así de sencillo.

¡Saludos Malignos!

*****************************************************************************************

- "Cognitive Services & Cyber Security: Ideas Locas": Primera Parte

- "Cognitive Services & Cyber Security: Ideas Locas": Segunda Parte

- "Cognitive Services & Cyber Security: Ideas Locas": Tercera Parte

- "Cognitive Services & Cyber Security: Ideas Locas": Cuarta Parte

*****************************************************************************************