{"id":1946,"date":"2018-11-21T12:41:17","date_gmt":"2018-11-21T12:41:17","guid":{"rendered":"https:\/\/keepler.io\/2018\/11\/21\/arquitectura-big-data-lambda-en-aws-para-productivizar-datos\/"},"modified":"2023-09-12T13:21:05","modified_gmt":"2023-09-12T13:21:05","slug":"arquitectura-big-data-lambda-en-aws-para-productivizar-datos","status":"publish","type":"post","link":"https:\/\/keepler.io\/es\/2018\/11\/21\/arquitectura-big-data-lambda-en-aws-para-productivizar-datos\/","title":{"rendered":"Arquitectura Big Data Lambda en AWS para productivizar datos"},"content":{"rendered":"

Hace no mucho organizamos<\/strong> un meetup de introducci\u00f3n cloud<\/a> con la idea de acercar este concepto tan difuso a la gente. En esta jornada se explicaron muchas dudas sobre el cloud y sobre los proveedores m\u00e1s importantes, pero hubo algo que llam\u00f3 m\u00e1s la atenci\u00f3n que el resto. El Big Data<\/strong>.<\/p>\n

Y, \u00bfqu\u00e9 es eso del Big Data?<\/strong> Lejos de querer embarcarme en un post te\u00f3rico sobre definiciones, ventajas y desventajas; me gustar\u00eda dar una peque\u00f1a definici\u00f3n y pasar a los engranajes.<\/p>\n

El big data en s\u00ed no es m\u00e1s que, tal y como la propia palabra corrobora, grandes vol\u00famenes de datos<\/strong>, pero lo importante no es s\u00f3lo lo que tenemos, sino c\u00f3mo sacarle partido<\/strong>. Lo que a priori puede parecer inconexos o incluso de poco valor, bien pulido puede convertirse en una gema en bruto. Y \u00bfc\u00f3mo lo pulimos?<\/p>\nEn #BigData no solo son importantes los datos, sino c\u00f3mo sacarle partido <\/a><\/span>Compartir en X<\/a><\/span>\n

De forma gen\u00e9rica el el proceso consiste en las siguientes fases<\/strong>:<\/p>\n

Ingesta<\/strong>
\nA menudo estos datos est\u00e1n dispersos en varios almacenamientos que soportan nuestros procesos y aplicaciones. Ergo, el primer paso consiste en construir un punto donde todos estos datos convivan y se convierta en nuestra fuente de verdad.<\/p>\n

Transformaci\u00f3n<\/strong>
\nMuy probablemente estos datos en bruto est\u00e9n llenos de ruido y\/o elementos que no nos aportan valor al caso de uso espec\u00edfico de la soluci\u00f3n. Refinando estos datos conseguiremos mejorar el rendimiento de los diferentes procesos que explotar\u00e1n los mismos.<\/p>\n

An\u00e1lisis<\/strong>
\nConsiste en la exploraci\u00f3n de los datos con el objetivo de sacar conclusiones apoy\u00e1ndose en los mismos. Dada la cantidad de datos que se est\u00e1n manejando se necesitan herramientas y componentes espec\u00edficos para llevar a cabo esta fase.<\/p>\n

Visualizaci\u00f3n<\/strong>
\nFinalmente, y una vez estos datos est\u00e1n refinados, se procede a la presentaci\u00f3n de los mismos poniendo especial esfuerzo en facilitar la interpretaci\u00f3n de los mismos.<\/p>\n

Ahora que sabemos por d\u00f3nde van los tiros, pasemos a analizar las diferentes fases sobre un ejemplo pr\u00e1ctico<\/strong>.<\/p>\n

Lo que tenemos aqu\u00ed no es m\u00e1s que una arquitectura t\u00edpica llamada Arquitectura Big Data Lambda<\/strong>. Cuando procesamos grandes cantidades de datos, a menudo tenemos que hacer un compromiso entre la velocidad en la que disponibilizamos los datos (tiempo real) y la precisi\u00f3n de los mismos (cargas programadas). Esta arquitectura contempla ambos casos de uso, siendo capaz de productivizar los datos tanto a tiempo real como las cargas programadas<\/strong>.<\/p>\n

Ingesta<\/h3>\n
\"ingesta

Arquitectura Big Data Lambda para productividad datos en tiempo real y programados.<\/p><\/div>\n

Hay diversas formas de realizar la ingesta a tiempo real, pero para esta situaci\u00f3n optamos por utilizar Kinesis Streams<\/strong> y Firehose<\/strong>, servicios recomendado por AWS para estos casos de uso. Kinesis Data Streams es un servicio que permite la recolecci\u00f3n de datos de forma continua y altamente escalable. En el caso de que queramos integrar los datos con los disponibilizados de forma programada, utilizaremos Kinesis Firehose, que nos permite empaquetar los datos para unirlos al datalake.<\/p>\n

\"ingesta

Kinesis Data Streams y Kinesis Firehose permite empaquetar los datos para unirlos en el datalake.<\/p><\/div>\n

En el caso de la ingesta programada, podemos utilizar servicios como AWS Glue<\/strong>, AWS Batch<\/strong> o AWS Data Migration Service<\/strong>; en el caso de que queramos replicar los datos desde sistemas como RDBMS, almacenes de datos o NoSQLs. Es interesante analizar las diferentes fuentes de datos para utilizar el mejor servicio en cada caso.<\/p>\n

Transformaci\u00f3n<\/h3>\n

Cuando hablamos de la transformaci\u00f3n de datos a tiempo real en arquitecturas de AWS, Kinesis Firehose<\/strong> es el rey. Antes hemos visto como Firehose permite empaquetar los datos en la ingesta para unirlos a los ingestados por parte de los procesos programados; sin embargo, podemos hacer m\u00e1s que empaquetar con Kinesis, podemos realizar transformaciones a tiempo real para luego ser utilizados por herramientas de visualizaci\u00f3n y anal\u00edtica convencionales o servicios de anal\u00edtica y visualizaci\u00f3n a tiempo real como Kinesis Analytics.<\/p>\n

\"tranformaci\u00f3n

Kinesis Firehose empaqueta datos en la ingesta.<\/p><\/div>\n

El utilizar S3<\/strong> como datalake nos permite reducir costes (no es necesario tener siempre todos los datos en almacenamientos como Redshift), al mismo tiempo que desacoplamos la arquitectura, pues no siempre nos interesa utilizar las mismas tecnolog\u00edas para todos los datos.<\/p>\n

Si nos decantamos por acumular los datos en el datalake (tanto en el caso de tiempo real como de cargas programadas) tenemos varias alternativas a la hora de \u201ccurar\u201d estos datos y prepararlos para su posterior productivizaci\u00f3n. Estas alternativas (AWS Batch, AWS Glue, AWS EMR) contemplan casos de uso y niveles de personalizaci\u00f3n y administraci\u00f3n diferentes, ofreci\u00e9ndonos un gran abanico de posibilidades para cubrir las necesidades de diferentes clientes. En algunos casos donde la transformaci\u00f3n no es demasiado exigente en t\u00e9rminos de CPU, memoria o tiempo es posible lleva a cabo esta fase con AWS Lambda, a este proceso se le llama micro-batching.<\/p>\n

El siguiente ejemplo contempla la aplicaci\u00f3n de transformaciones con AWS Glue<\/strong>, servicio que permite explotar las funcionalidades de Spark o Scala de una forma totalmente manejada, e incluso nos ofrece ya algunas transformaciones can\u00f3nicas en su cat\u00e1logo.<\/p>\n

\"aws

Aplicaci\u00f3n de transformaciones con AWS Glue y base de datos Redshift para anal\u00edtica.<\/p><\/div>\n

Anal\u00edtica<\/h3>\n

Cuando hablamos de anal\u00edtica entran en juego varias herramientas y varios servicios de AWS. En el caso del ejemplo anterior, podemos observar una base de datos Redshift<\/strong>, la cual nos permite realizar an\u00e1lisis utilizando consultas PSQL para sacarle partido a la gran capacidad de c\u00f3mputo de esta tecnolog\u00eda. Redshift y Athena<\/strong> nos permiten realizar an\u00e1lisis sobre datos ya transformados, mientras que para los casos espec\u00edficos de tiempo real podemos utilizar AWS Kinesis<\/strong>, la cual nos permite realizar consultas a tiempo real sobre los datos recibidos.<\/p>\n

Visualizaci\u00f3n<\/h3>\n

Al final el objetivo es ser capaz de interpretar estos datos de forma r\u00e1pida y sencilla de cara a ser capaces de sacar conclusiones sobre los mismos que nos ayuden a mejorar nuestro negocio. Para cubrir esta necesidad Amazon Web Services nos provee de un servicio llamado QuickSight<\/strong>, el cual se integra f\u00e1cilmente con los servicios de almacenamiento de AWS. A trav\u00e9s de este servicio podemos construir de forma r\u00e1pida, y pagando \u00fanicamente por las sesiones, paneles informacionales que permitan tomar la mejor decisi\u00f3n en cada situaci\u00f3n.<\/p>\n

Resultado<\/h3>\n
\"arquitectura

Visi\u00f3n de ejemplo de arquitectura Big Data Lambda.<\/p><\/div>\n

Todo esto da como resultado una arquitectura construida por bloques (intercambiables y reutilizables) que permite las recepci\u00f3n y tratamiento de datos, tanto a tiempo real, como de forma programada. Unificando la cap de procesamiento conseguimos el poder utilizar un \u00fanico punto de tratamiento para ambas casu\u00edsticas.<\/p>\n

Imagen: unsplash | nate grant<\/p>\n","protected":false},"excerpt":{"rendered":"

Hace no mucho organizamos un meetup de introducci\u00f3n cloud con la idea de acercar este concepto tan difuso a la gente. En esta jornada se explicaron muchas dudas sobre el cloud y sobre los proveedores m\u00e1s importantes, pero hubo algo que llam\u00f3 m\u00e1s la atenci\u00f3n que el resto. El Big Data. Y, \u00bfqu\u00e9 es eso […]<\/p>\n","protected":false},"author":134360206,"featured_media":826,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","_crdt_document":"","content-type":"","jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"_wpas_customize_per_network":false},"categories":[224],"tags":[255,280],"class_list":["post-1946","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-cloud","tag-cloud-es","tag-tecnologias"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/keepler.io\/wp-content\/uploads\/2018\/11\/keepler-arquitectura-bigdata-lambda-aws.jpg?fit=850%2C350&ssl=1","jetpack_shortlink":"https:\/\/wp.me\/p9CeZw-vo","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts\/1946","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/users\/134360206"}],"replies":[{"embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/comments?post=1946"}],"version-history":[{"count":1,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts\/1946\/revisions"}],"predecessor-version":[{"id":2418,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/posts\/1946\/revisions\/2418"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/media\/826"}],"wp:attachment":[{"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/media?parent=1946"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/categories?post=1946"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/keepler.io\/es\/wp-json\/wp\/v2\/tags?post=1946"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}