{"id":48328,"date":"2025-05-21T14:09:22","date_gmt":"2025-05-21T13:09:22","guid":{"rendered":"https:\/\/keepler.io\/?p=48328"},"modified":"2025-05-21T14:15:07","modified_gmt":"2025-05-21T13:15:07","slug":"un-extenso-benchmark-de-llms-y-modelos-de-pln-para-lenguas-ibericas-e-iberoamericanas","status":"publish","type":"post","link":"https:\/\/keepler.io\/es\/2025\/05\/21\/un-extenso-benchmark-de-llms-y-modelos-de-pln-para-lenguas-ibericas-e-iberoamericanas\/","title":{"rendered":"Benchmark de LLMs y modelos de PLN para lenguas ib\u00e9ricas e iberoamericanas"},"content":{"rendered":"

La evaluaci\u00f3n de los modelos de lenguaje de gran tama\u00f1o (LLMs) plantea importantes retos<\/strong>, especialmente para los idiomas distintos al ingl\u00e9s, donde a menudo escasean los datos de evaluaci\u00f3n de alta calidad. Los benchmarks y rankings existentes se centran predominantemente en el ingl\u00e9s,<\/strong> y aquellos que s\u00ed abordan otros idiomas suelen pasar por alto la diversidad de variedades ling\u00fc\u00edsticas, priorizan las capacidades fundamentales del Procesamiento del Lenguaje Natural (PLN) por encima de tareas con relevancia industrial, y tienen un car\u00e1cter est\u00e1tico.<\/strong><\/p>\n

Para abordar estas limitaciones, un grupo de investigadores profesionales, entre los que me incluyo, hemos publicado el art\u00edculo IberBench, un benchmark integral y extensible dise\u00f1ado para evaluar el rendimiento de los LLMs tanto en tareas fundamentales como en tareas de PLN relevantes para la industria, en lenguas habladas en la Pen\u00ednsula Ib\u00e9rica y en Iberoam\u00e9rica.<\/strong><\/p>\n

IberBench<\/a> es un benchmark amplio, multiling\u00fce y multivariedad que abarca espa\u00f1ol, portugu\u00e9s, catal\u00e1n, euskera, gallego e ingl\u00e9s, as\u00ed como variedades del espa\u00f1ol de M\u00e9xico, Uruguay, Per\u00fa, Costa Rica y Cuba<\/strong>. Incluye 101 conjuntos de datos recopilados de campa\u00f1as de evaluaci\u00f3n y nuevos benchmarks, cubriendo 22 tipos de tareas diversas, como an\u00e1lisis de sentimiento y emoci\u00f3n, detecci\u00f3n de toxicidad, detecci\u00f3n de texto generado por m\u00e1quinas y razonamiento de sentido com\u00fan. Los conjuntos de datos se basan en tareas compartidas en workshops como IberLEF, IberEval, TASS y PAN, as\u00ed como en benchmarks m\u00e1s recientes de prop\u00f3sito general para LLMs. Cabe destacar que IberBench estandariza muchos conjuntos de datos procedentes de workshops, lo que facilita su acceso.<\/p>\n

El benchmark diferencia entre tareas fundamentales<\/strong> \u2014que eval\u00faan la competencia ling\u00fc\u00edstica y el conocimiento b\u00e1sicos\u2014 y tareas relevantes para la industria,<\/strong> que tienen un impacto econ\u00f3mico, como la moderaci\u00f3n de contenido o el an\u00e1lisis de opiniones de clientes. Las tareas industriales provienen principalmente de workshops, mientras que las fundamentales suelen proceder de benchmarks ya consolidados, lo que pone de manifiesto una brecha en las pr\u00e1cticas actuales de evaluaci\u00f3n.<\/p>\n

La arquitectura del benchmark consta de cuatro componentes clave: la interfaz de ranking (Leaderboard UI)<\/a>, una organizaci\u00f3n de especialistas en PLN<\/a>, los conjuntos de datos<\/a> y el marco de evaluaci\u00f3n de los LLMs<\/a>. La interfaz, alojada en HuggingFace Spaces, act\u00faa como la plataforma principal donde los usuarios pueden consultar clasificaciones, gr\u00e1ficos e informes, adem\u00e1s de solicitar la evaluaci\u00f3n de nuevos modelos o proponer nuevos conjuntos de datos. La organizaci\u00f3n revisa estas solicitudes seg\u00fan criterios espec\u00edficos, como el enfoque en lenguas ib\u00e9ricas para los datasets y la composici\u00f3n de los datos de entrenamiento en el caso de los modelos.<\/p>\n

\"\"<\/p>\n

Una evaluaci\u00f3n de 23 modelos de lenguaje (LLMs), con tama\u00f1os que van desde los 100 millones hasta los 14 mil millones de par\u00e1metros, revel\u00f3 varias conclusiones clave:<\/p>\n