El procesamiento de lenguaje natural (NLP) es uno de los campos de investigación más relevantes dentro de las ciencias de la computación. Este área se dedica a buscar la mejor manera de hacer que una máquina pueda entender el lenguaje como lo entendemos las personas.
Inevitablemente, este campo se ha topado siempre con una serie de retos que vienen dados por la forma o la flexibilidad que tenemos las personas para comunicar o, más importante aún, para entender lo que nos comunican. Este problema de rigidez que tienen las máquinas, hacen que aspectos como el contexto, el sarcasmo o la ambigüedad, sean verdaderos quebraderos de cabeza para las personas que investigan y dedican su carrera profesional a este tema.
Para hacerlo más claro, piensen en el siguiente ejemplo:
- Juan y Sonia están casados.
¿Significa que son pareja y están casados entre ellos o que ambos están casados con sus respectivas parejas? Si yo conociera a Juan o a Sonia, mi interpretación sobre está frase sería directa, no tendría ninguna duda sobre ella. Sin embargo, he tenido que hacer uso de un contexto para entender exactamente a qué se refiere esta frase. En definitiva, si un humano tiene dudas sobre la interpretación de la frase, una máquina también las va a tener (y mucho mayores, me atrevería a decir).
No obstante, es cierto que ante esta ambigüedad pensamos en una opción más probable, porque nos acostumbramos a hablar de una manera determinada. En este ejemplo, lo primero que solemos pensar, al menos yo, es que ambos son pareja y están casados, porque de no ser así, se suele concretar la frase con algo más, por ejemplo: “Juan y Sonia están casados con sus respectivas parejas” con la finalidad de no dar lugar a un posible malentendido.
Modelos de IA Generativa
Últimamente, estamos constantemente bombardeados por avances en inteligencia artificial generativa, sobre todo desde el auge de ChatGPT como nuestro asistente particular en nuestras tareas diarias. Vamos a ver cuál es la idea general que tienen los grandes modelos de lenguaje Large Language Model, (LLM) como son (Chat GPT, OpenAI), PaLM (Google), Falcon (Hugging Face), etc. Estos modelos están construidos con una tarea principal, construir cuál es la siguiente palabra de la frase dado todo lo anterior, en otros términos, cuál es la palabra más probable que encaje dentro de la frase de entre todas las disponibles, es decir, de entre todo el vocabulario.
Esto se parece mucho a nuestra manera de actuar como receptores de información, buscamos de entre todos los significados posibles, cuál es al que hace referencia el emisor del mensaje y continuamos la conversación a partir de ahí.
Siendo ya un poco más técnico, un LLM es una red neuronal con un número muy elevado de parámetros que ha sido entrenada con muchísimos datos (petabytes de datos). Esta enorme cantidad de datos contiene la información necesaria para que estos modelos sean capaces de realizar tareas como resúmenes, clasificación de información, extracción de entidades e incluso traducción de textos entre otras posibles tareas.
Es decir, las tareas “clásicas” del área de procesamiento de lenguaje natural que antes separábamos en diferentes modelos de lenguaje más pequeños y especializados, las hemos unificado en un modelo enorme y hemos hecho un “todo en uno”.
Llevado a la práctica, esto hace parecer que cuando se le realizan diferentes tipos de consultas y el modelo responde correctamente es porque es muy listo, porque saber realizar todas estas tareas al mismo tiempo parece muy humano, cuando el truco está en que la consulta ya se encuentra en algún sitio de toda la inmensa cantidad información que contiene. Sin embargo, toda la información procedente de alguna IA no está exenta de ser contrastada y comprobada, nadie te asegura que dentro de tantísima información el modelo haya hecho una interpretación correcta y concisa de la consulta que le hayamos realizado. Hay que recordar que la única tarea que se le exige al modelo es responder, no responder correctamente, por eso es siempre importante verificar la información.
A día de hoy, estos modelos requieren de una infraestructura equivalente al tamaño de los mismos, lo que se traduce en instancias de gran tamaño con una capacidad de cómputo muy elevada. Estas restricciones conllevan a que sólo empresas con una gran infraestructura interna puedan realizar entrenamientos de estos modelos. Para que tengamos una referencia, ¡un entrenamiento de un LLM puede tardar meses en realizarse! Además se estima que el coste de un entrenamiento de un modelo de este tipo puede ser de varios millones de dólares. Creo que estos datos reflejan la magnitud del tamaño de estos modelos y su complejidad. Del mismo modo, si como usuarios queremos hacer uso de estas herramientas, debemos tener en consideración que esto solo se podrá llevar a cabo si tenemos a nuestra disposición la infraestructura que pueda almacenar y trabajar con estos modelos usando máquinas dedicadas a ello o bien vía API (como sería el caso de Chat GPT), entendiendo que la confidencialidad de los datos expuestos puede estar comprometida si se utiliza una API.
¿Cómo se trabaja con LLMs?
Cada día salen a la luz más y más aplicaciones que poder llevar a cabo usando IA generativa. La manera de trabajar con ellas es estableciendo una serie de instrucciones, también denominados, prompts. Estos prompts son plantillas que le especifican al modelo, qué debe buscar y cómo debe responder. Un ejemplo muy sencillo de prompt podría ser:
- Dado el siguiente fragmento de texto: [Aquí iría el texto] Genera un resumen.
Estas plantillas de instrucciones deben ser muy claras y muy concretas, cuanto más específicas mejor. Hay que tener en cuenta que existen limitaciones de cantidad de texto que se puede introducir a los modelos de lenguaje por lo tanto la precisión es muy relevante en este aspecto.
Si la tarea es muy compleja o muy específica, se puede realizar un re-entrenamiento del modelo de lenguaje, con la finalidad de que el modelo anterior se especialice en la tarea concreta que se desea. Por ejemplo, si quiero crear un modelo con la finalidad de responder a dudas médicas, conviene hacer un re-entrenamiento con solamente documentos médicos contrastados. De esta manera, el modelo se habrá especializado en responder a cuestiones meramente médicas pudiendo perder más generalidad pero siendo una mejor versión en la tarea que se le ha focalizado.
Los resultados de estos modelos de lenguaje generan cada vez más impacto, según Open AI, estos fueron los resultados de sus modelos GPT 3.5 y GPT 4 en exámenes de nivel de universidad con respecto a los estudiantes que tomaron dichos exámenes.
Aquí se puede observar que en gran parte de los casos el nivel de GPT 4 se parece al de los mejores estudiantes que realizaron el examen.
De la misma manera el modelo Med-PaLM 2 de Google, un modelo especializado en cuestiones médicas, alcanzó un 85.4% de acierto en preguntas del examen US Medical License Exam (USMLE)
Viendo el desempeño general de estos modelos en tantísimas áreas, podemos tener una primera idea de los útiles que pueden llegar a ser estos modelos siempre que se usen de manera correcta y ética.
A nivel empresarial, cada vez salen más casos de uso que se pueden plantear para resolver mediante IA generativa, por ejemplo: casos de gestión documental, es decir, buscar información a través de una documentación dada, generación de contenido de imágenes o textos, crear tu propio asistente virtual, etc. Ahora nos toca a nosotros sacarle valor a estas herramientas y ver hasta dónde podemos llegar.
Imagen: Freepik | Rawpixel
Data Scientist en Keepler. "I am a mathematician dedicated to data science, I love learning new algorithms and machine learning techniques that help develop customized data-driven solutions."
0 comentarios