A finales del mes de Febrero os publiqué un artículo en el que intentaba romper el Captcha Cognitivo de Twitter del movimiento del tren utilizando ChatGPT (GPT4), Azure GPT4-Vision, Gemini (Bard) y Gemini (Ultra 10) con un resultado curioso, porque ninguno de ellos llegaba a posicionar correctamente en la posición de salida al tren, lo que hacía que hubiera que corregir su posición.

Con la salida de Anthropic Claude 3.0 Opus, mi amigo Julian Isla me propuso probar a ver si era capaz de saltarse el mismo reto. Es decir, a ver cómo se comporta Claude 3.0 Opus enfrente del Captcha Cognitivo del Tren de Twitter.

Según la gráfica que publican en la web de Antropic, Claude 3.0 Opus supera a todos los demás modelos en todo tipo de tareas cognitivas, tal y como os dejo por aquí.

Pero no solo en todos esos benchmark, sino también, especialmente, en los que tienen que ver con problemas visuales, como se ve en esta segunda tabla.

Y el resultado ha sido curioso, no por nada positivo, sino porque ha vuelto a fallar en el mismo sitio en el que han fallado los modelos anteriores. Es decir, en la ubicación del tren. Al pedirle que resuelva el reto, ha posicionado al tren en la posición C, haciendo que falle en su resolución.

Por supuesto, cuando le sitúas en la posición correcta, es capaz de resolverlo muy rápidamente, pero no a la primera, lo que nos ha llamado la atención. Está claro que el reto visual está bien diseñado por los creadores de este Captcha Cognitivo, que está explotando algún efecto visual que afecta a estos modelos de visión artificial.

Como curiosidad, seguiremos probando este mismo reto en los siguientes, pues el uso de los Captchas Cognitivos con modelos LLMs Multimodales va a ser algo que va a permitir automatizar muchos procesos de Webscraping, Webscalping, etc... y van a ser muy importantes en el futuro para los equipos del Red Team.

Veremos si no llegamos a los Captchas Emocionales antes de lo que pensamos, porque tardo o temprano todos estos Captchas Cognitivos van a ir cayendo uno tras otro.

¡Saludos Malignos!