{"id":1943,"date":"2018-12-12T11:18:43","date_gmt":"2018-12-12T11:18:43","guid":{"rendered":"https:\/\/keepler.io\/2018\/12\/12\/modelos-predictivos-mediante-optimizacion-hiperparametrica-y-machine-learning\/"},"modified":"2023-09-12T13:19:10","modified_gmt":"2023-09-12T13:19:10","slug":"modelos-predictivos-mediante-optimizacion-hiperparametrica-y-machine-learning","status":"publish","type":"post","link":"https:\/\/keepler.io\/es\/2018\/12\/12\/modelos-predictivos-mediante-optimizacion-hiperparametrica-y-machine-learning\/","title":{"rendered":"Modelos predictivos mediante optimizaci\u00f3n hiperparam\u00e9trica y Machine Learning"},"content":{"rendered":"

El vino es una de las bebidas alcoh\u00f3licas m\u00e1s consumidas del mundo. No es algo nuevo; existen referencias de que en el per\u00edodo Neol\u00edtico se dieron pr\u00e1cticas vitivin\u00edcolas. Despu\u00e9s se fue extendiendo hasta tal punto de que en la cultura grecorromana exist\u00eda un Dios del vino (Baco o Dionisio). Hoy por hoy, hay numerosas regiones a lo largo de nuestro planeta en las que se elaboran excelentes vinos.<\/p>\n

Sin embargo, y a pesar de la larga tradici\u00f3n que hay alrededor del vino, siempre hay que tomar decisiones a la hora de producirlo<\/strong>. Pong\u00e1monos en la tesitura de que somos productores que queremos hacer un vino exquisito. Tendremos que elegir el tiempo de fermentaci\u00f3n, el tiempo de maduraci\u00f3n, la temperatura\u2026 Lo ideal ser\u00eda probar todas las combinaciones posibles y ver el resultado<\/strong>, \u00bfno? Sin embargo, esta alternativa no es posible: tenemos restricciones de tiempo (hay vinos que tardan a\u00f1os en madurar) y, probablemente, tengamos restricciones presupuestarias.<\/p>\n

Pero, \u00bfqu\u00e9 tiene que ver esto con el mundo de los datos?<\/h3>\n

Bien, acabamos de ver un ejemplo de caso de uso de optimizaci\u00f3n hiperparam\u00e9trica<\/strong>. En Machine Learning, nos encontramos con este problema constantemente. A la hora de generar un modelo predictivo<\/strong> (conocer la forma de hacer el mejor vino), necesitamos 3 cosas: los datos<\/strong> (la vid, las uvas), la funci\u00f3n de coste<\/strong> (restricciones de tiempo, dinero, instalaciones), y los hiperpar\u00e1metros<\/strong> (caracterizar esas restricciones, eligiendo sus l\u00edmites).<\/p>\n

Como nota aclaratoria, no confundir los par\u00e1metros con los hiperpar\u00e1metros. La diferencia reside en que los par\u00e1metros se \u201caprenden\u201d (de ah\u00ed el nombre de machine learning) mediante el ajuste matem\u00e1tico que subyace al modelo elegido junto con los datos (los coeficientes de una regresi\u00f3n, por ejemplo), mientras que los hiperpar\u00e1metros no se pueden aprender en el proceso de ajuste, son propiedades del modelo que el cient\u00edfico de datos debe elegir para llegar a su objetivo. Es un proceso de prueba y error, poco intuitivo, dado que muchas veces nos encontramos con problemas con muchas dimensiones. Ejemplo de hiperpar\u00e1metros:<\/p>\n

    \n
  • Learning rate<\/em> en la optimizaci\u00f3n de un gradiente descendente, por ejemplo.<\/li>\n
  • N\u00famero de \u00e1rboles en un random forest<\/em>.<\/li>\n
  • N\u00famero de capas en una red neuronal.<\/li>\n<\/ul>\n

    De la magia de la aleatoriedad\u2026<\/h3>\n

    Definamos formalmente el problema<\/strong>:<\/p>\n

    \"\"Nuestro vector \u00f3ptimo de hiperpar\u00e1metros proviene de minimizar el error generalizado F<\/em> para nuestro sampleo x<\/em> proveniente de una distribuci\u00f3n subyacente Gx<\/em>. Dicho error depende de la funci\u00f3n de coste L<\/em>, bajo un algoritmo de entrenamiento A<\/em> optimizado para los hiperpar\u00e1metros \u03b1<\/em>\u00a0y el subespacio de datos de entrenamiento xtrain<\/em>. Resolviendo esta ecuaci\u00f3n, llegamos a<\/p>\n

    \"\"<\/p>\n

    Donde \u03c8<\/em>\u00a0es una funci\u00f3n de respuesta que desconocemos. Para resolver esta ecuaci\u00f3n, tendremos que evaluar las posibilidades del espacio \u0397<\/em>\u00a0de hiperpar\u00e1metros hasta encontrar el vector \u00f3ptimo de \u03b1<\/em>.<\/p>\n

    El punto cr\u00edtico es por lo tanto explorar este espacio de hiperpar\u00e1metros<\/strong>. \u00bfQu\u00e9 formas existen? \u00bfSon todas iguales de eficientes?<\/p>\n

    La intuici\u00f3n nos dice que tendr\u00edamos que hacer pruebas con cada una de las combinaciones posibles de hiperpar\u00e1metros. Sin embargo, esta soluci\u00f3n, llamada com\u00fanmente Grid Search<\/em>, es computacionalmente muy ineficiente<\/strong>, debido al problema de la dimensionalidad, es decir, el n\u00famero de combinaciones posibles crece exponencialmente con el n\u00famero de hiperpar\u00e1metros. Al igual que el en\u00f3logo no tiene el tiempo suficiente para explorar todas las v\u00edas posibles de elaboraci\u00f3n, nosotros, como cient\u00edficos de datos, carecemos de capacidad computacional infinita<\/strong>.<\/p>\n

    \"\"

    Gr\u00e1fica Grid Search. Fuente: Keepler.<\/p><\/div>\n

    Por otro lado, existen argumentos a favor<\/strong> del uso esta t\u00e9cnica:<\/p>\n

      \n
    • Conocer\u00edamos mejor la funci\u00f3n de respuesta (conocemos mejor las sensibilidades de nuestro modelo a los hiperpar\u00e1metros).<\/li>\n
    • Paralelizar el proceso es trivial.<\/li>\n
    • Es de f\u00e1cil implementaci\u00f3n.<\/li>\n<\/ul>\n

      Sin embargo, existe tambi\u00e9n otro tipo de b\u00fasqueda m\u00e1s r\u00e1pida y eficiente<\/strong>, llamada Random Search<\/em>. El motivo por el cual este algoritmo de b\u00fasqueda es mejor que el anterior, es que la funci\u00f3n de respuesta es m\u00e1s sensible a cambios en algunas dimensiones que otras. Al explorar el espacio de combinaciones de manera aleatoria, estamos llegando a encontrar combinaciones que con una b\u00fasqueda uniforme (grid search<\/em>) no lo har\u00edamos, pues en una b\u00fasqueda uniforme los hiperpar\u00e1metros se encuentran equitativamente distantes unos de otros. Con una b\u00fasqueda aleatoria, estamos cubriendo el espacio exploratorio m\u00e1s desigualmente, encontrando zonas donde con una b\u00fasqueda uniforme no encontrar\u00edamos. Si supi\u00e9ramos a priori<\/em> las zonas donde el modelo minimizara m\u00e1s el error, har\u00edamos un grid search<\/em> apropiado sobre esas zonas, pero como generalmente no lo sabemos, debemos explorar todo el espacio<\/strong>.<\/p>\n

      En la siguiente imagen se muestra este fen\u00f3meno con un experimento<\/strong>. Bajo un conjunto de datos generados aleatoriamente (pero con sentido estad\u00edstico), se ejecuta un modelo predictivo dos veces para cada dimensi\u00f3n de complejidad (primer experimento:10, segundo: 50), y se comparan los tiempos y el error. El n\u00famero de computaciones que se ejecutan en cada b\u00fasqueda es exactamente la misma para poder medir la diferencia de tiempo de ejecuci\u00f3n.<\/p>\n

      \"\"

      Experimento sobre modelos hiperparam\u00e9tricos. Fuente: Keepler.<\/p><\/div>\n

      Como podemos observar, el tiempo es menor a medida que a\u00f1adimos hiperpar\u00e1metros al espacio, llegando en ocasiones a ser un 50% m\u00e1s r\u00e1pido. Si bien con una dimensionalidad de 10, el primer experimento no fue aceptado por nuestra hip\u00f3tesis, el resto de experimentos s\u00ed que lo hicieron. Cabe destacar que tambi\u00e9n la media del error es ligeramente menor (la distribuci\u00f3n se encuentra m\u00e1s hacia la izquierda) en el random search<\/em>. Por tanto, nunca desvirtuaremos nuestro estudio<\/strong> si utilizamos una b\u00fasqueda aleatoria, pero \u00a1s\u00ed ganaremos eficiencia!<\/p>\n

      \u2026al poder del conocimiento<\/h3>\n

      Existen otras t\u00e9cnicas muy potentes que hacen uso de la informaci\u00f3n generada en cada iteraci\u00f3n de la b\u00fasqueda para saber hacia qu\u00e9 zona del espacio dirigirse, construyendo un modelo probabil\u00edstico sobre la funci\u00f3n de coste. Este m\u00e9todo se llama optimizaci\u00f3n Bayesiana<\/strong>, y lo deber\u00edamos aplicar en situaciones en las que nuestro algoritmo de machine learning no tiene closed form<\/em>, y se llega a su soluci\u00f3n mediante una optimizaci\u00f3n generalmente costosa de evaluar.<\/p>\n

      \"\"

      Optimizaci\u00f3n Bayesiana. Fuente: Keepler.<\/p><\/div>\n

      Interpretemos este gr\u00e1fico. Dada una funci\u00f3n de utilidad Expected improvement<\/em>,<\/p>\n

      \"\"En cada iteraci\u00f3n hacemos lo siguiente:<\/p>\n

        \n
      • Evaluamos la funci\u00f3n de coste con los hiperpar\u00e1metros.<\/li>\n
      • Actualizamos nuestra \u201ccreencia\u201d con un proceso gaussiano.<\/li>\n
      • Dada nuestra nueva creencia podemos usar la funci\u00f3n de utilidad para determinar unos nuevos hiperpar\u00e1metros en zonas donde la incertidumbre (o desviaci\u00f3n est\u00e1ndar) del proceso gaussiano sea menor. Es decir, obtenemos un nuevo mejor vector de hiperpar\u00e1metros \u00f3ptimos.<\/li>\n
      • Volvemos al primer paso con los nuevos hiperpar\u00e1metros.<\/li>\n<\/ul>\n

        Estamos construyendo un modelo probabil\u00edstico de F<\/em> repetidamente hasta que nuestra funci\u00f3n de utilidad no se puede maximizar m\u00e1s. Como vemos en el gr\u00e1fico, la b\u00fasqueda bayesiana<\/strong> converge hacia la iteraci\u00f3n 20 aproximadamente. Como es de esperar, tenemos mejores resultados, pues el error es menor<\/strong>.<\/p>\n

        Si has llegado hasta aqu\u00ed, espero que este recap<\/em> de m\u00e9todos de optimizaci\u00f3n hiperparam\u00e9trica te sea de utilidad. Si te animas a probarlo o tienes alguna consulta, no dudes en dejarme un comentario.<\/p>\n

        Imagen: unsplash | jefferson santos<\/p>\n","protected":false},"excerpt":{"rendered":"

        El vino es una de las bebidas alcoh\u00f3licas m\u00e1s consumidas del mundo. No es algo nuevo; existen referencias de que en el per\u00edodo Neol\u00edtico se dieron pr\u00e1cticas vitivin\u00edcolas. Despu\u00e9s se fue extendiendo hasta tal punto de que en la cultura grecorromana exist\u00eda un Dios del vino (Baco o Dionisio). Hoy por hoy, hay numerosas regiones […]<\/p>\n","protected":false},"author":134360170,"featured_media":831,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","_seopress_robots_follow":"","_seopress_robots_imageindex":"","_seopress_robots_snippet":"","_seopress_robots_primary_cat":"","_seopress_robots_breadcrumbs":"","_seopress_robots_freeze_modified_date":"","_seopress_robots_custom_modified_date":"","_seopress_robots_canonical":"","_seopress_social_fb_title":"","_seopress_social_fb_desc":"","_seopress_social_fb_img":"","_seopress_social_fb_img_attachment_id":0,"_seopress_social_fb_img_width":0,"_seopress_social_fb_img_height":0,"_seopress_social_twitter_title":"","_seopress_social_twitter_desc":"","_seopress_social_twitter_img":"","_seopress_social_twitter_img_attachment_id":0,"_seopress_social_twitter_img_width":0,"_seopress_social_twitter_img_height":0,"_seopress_redirections_value":"","_seopress_redirections_enabled":"","_seopress_redirections_enabled_regex":"","_seopress_redirections_logged_status":"","_seopress_redirections_param":"","_seopress_redirections_type":0,"_seopress_analysis_target_kw":"","_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","content-type":"","_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_wpcom_ai_launchpad_first_post":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"{title}\n\n{excerpt}\n\n{url}","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"_wpas_customize_per_network":false,"jetpack_post_was_ever_published":false},"categories":[227],"tags":[293,269],"class_list":["post-1943","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia-de-datos","tag-data-science-es","tag-machine-learning-es"],"jetpack_publicize_connections":[],"jetpack_shortlink":"https:\/\/wp.me\/p9CeZw-vl","jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/i0.wp.com\/keepler.io\/wp-content\/uploads\/2018\/12\/keepler-datascience-modelospredictivos.jpg?fit=850%2C350&ssl=1","_links":{"self":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts\/1943","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/users\/134360170"}],"replies":[{"embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/comments?post=1943"}],"version-history":[{"count":1,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts\/1943\/revisions"}],"predecessor-version":[{"id":2426,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts\/1943\/revisions\/2426"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/media\/831"}],"wp:attachment":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/media?parent=1943"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/categories?post=1943"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/tags?post=1943"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}