miércoles, 15 de noviembre de 2023

El futuro, las GenIas, las "LLM application" y el impacto a una nueva generación

Antes de iniciar quiero resaltar algo importante, esta es mi opinión, humilde y sincera opinión como ingeniero informático y hacker, no pretendo con esto penalizar o satanizar las practicas de las inteligencias artificiales que a hoy, 15 de noviembre de 2023 existen, de hecho, quiero confesar que soy usuario de algunas de ellas, las mismas que me han permitido avanzar en mis estudios, organizar mi día o facilitar algún material que de una u otra manera me hacía ilusión tener, como es el caso de la siguiente imagen.

Img1: Imagen que me hacia ilusion tener.

Que si, resumiendo, es mi avatar al estilo pixar de cuando me planto horas y horas a estudiar y porque no ejecutar uno que otro comando en mi entorno linux. pero, ¿quién no quisiera verse en buena calidad y versión animada? no conozco a la primera persona (sarcasmo).

este avatar lo realice con una GenIA que quizá a estas alturas ya todos conocemos y es la que utiliza el buscador bing, pues si bien utilizas el modo creativo, y propones un prompt como el siguiente: "Dame una imagen al estilo de pixar de un programador, asegúrate de usar esta foto <link_de_la_foto> como referencia, incluye un entorno típico, con juego de luces y en alta calidad." listo! usando la tecnología de DALL~E salió un avatar algo parecido a mi,  pero en realidad este no es un tutorial de como generar imágenes con  IAs de esos hay muchos en internet, esta es mi opinión sincera del uso de las mismas.

A mi concepto las IAs tienen demasiado uso, son unas herramientas que pueden facilitar el trabajo de muchos profesionales, pero esto me lleva a pensar, ¿el resultado del uso constante de esta tecnología será tan provechoso como se anuncia? o peor aún, ¿tendrá esta tecnología algún riesgo a nuestra seguridad? pues la realidad es que estamos expuestos. No solo a los tan famosos Deep fakes como el caso bad bunny, el más popular hasta el momento, donde mediante inteligencia artificial clonaron la voz del reguetonero y la pusieron a una canción que el nunca, escribió, produjo y mucho menos cantó, llegando a viralizarse y a ser #1 en las plataformas de música como spotify.


lo preocupante es que hay demasiados estudiantes, e incluso algunos trabajadores que, sin desconfiar en lo más mínimo, basan absolutamente todo su flujo de trabajo en lo que digan las iA, dando por hecho de que las Ias no se equivocan y hay quienes las describen como seres super inteligentes con un conocimiento pleno del futuro, desconociendo como operan por debajo estos modelos de lenguaje.

pero entonces... ¿Como operan las Ias?.

Voy a tratar de ser breve, una IA es un algoritmo que opera bajo una cantidad de datos recolectados previamente, datos que ya existen hasta el momento, luego, se introducen una serie de reglas que permiten un margen a las IAS, algo así como el filtro que no permite decirle al internauta como acabar la humanidad (de nuevo sarcasmo) una Ia, NO tiene la capacidad de  crear información, o de diseñar de cero una tecnología completamente nueva, de hecho , algunos modelos de lenguaje entrenados con código, pueden enviar al usuario modelos de código para lograr cierto objetivo, pero siempre será una reproducción del código mas popular para hacer dicha tarea. en resumen, es un buscador muy potente que nos permite interactuar con el y por medio de patrones de escritura "humaniza" las respuestas que nos entrega.

Ahora... hay que confiar ciegamente en todo lo que nos entregan los LLM?

¡Una respuesta corta seria decir que No! que no se debe confiar al 100% de lo que nos entregan las Ias, pero voy a profundizar en el porque de esta conclusión. 

 

La OWASP ( Open Web Application Security Project ) nos ha entregado en su versión 2023 lo que seria las diez vulnerabilidades mas importantes de un LLM o lo que conocemos comúnmente como Inteligencia Artificial. y hoy desde GUANES queremos mostrarles las mas importantes.



Img2: logo OWASP

1. LLM01: Prompt Injection:

El prompt injection básicamente nos permite saltar las restricciones que tienen por fabrica los LLM, a través de prompts o entradas astutas provocando acciones no deseadas por el LLM. 

 

2.  LLM07: Insecure Plugin Design

a esta vulnerabilidad estamos expuestos básicamente cuando le confiamos la creación de piezas de código a los LLM, si bien nos entregan piezas de código en la mayoría de veces funcional, están programados por defecto a dar una solución rápida, no segura, esto hace que muchas de las empresas que basan su flujo de trabajo en LLMs hereden vulnerabilidades de ejecución de código remoto, SqLi entre otras.

 

3.  LLM09:  Overreliance

Como lo mencionamos anteriormente hay personas y/o organizaciones que confían demasiado en los LLM esto nos expone a episodios de desinformación o vulnerabilidades en código, en este caso hicimos estas pruebas con personas ficticias donde algunos LLM populares completaban la información con cosas que inventaban sobre la marcha, como aportes a comunidades, libros que no existen, en la parte política por ejemplo, pilares de gobierno que nunca se mencionaron por los mandatarios, obras nunca realizadas,  en fin muchísima información creada para rellenar un tema.



En conclusión, NO, la tecnología NO es mala, NO es inútil y SI, se debe usar, pero no con el contexto que queremos darle, no debemos descargar toda nuestra responsabilidad  y creatividad a la hora de idear algo, de escribir algo, o de investigar algo, pilares importantísimos en el desarrollo intelectual de un individuo. 

 

Saludos.







0 Comments:

WriteUp ColddBox - TryHackme

En este writeup exploraremos la máquina ColdBox de TryHackMe , una sala de dificultad facil que pone a prueba nuestras habilidades en recon...