Durante los últimos años el mundo ha cambiado a pasos agigantados, y cada vez es más compleja la tarea de predecir cuáles van a ser los retos de cara al futuro.

En Keepler hemos analizado el mercado para tratar de entrever cuáles son los retos tecnológicos que nos esperan de cara al año que viene. Para ello, hemos combinado el conocimiento de varios expertos dentro de nuestro ámbito para encarrilar esta tarea.

Data Warehouse vs Delta Lake vs Lakehouse

La cantidad de datos que se generan a diario hace que sea necesario buscar soluciones de almacenamiento seguro a largo plazo y herramientas que permitan explotar y analizar el dato con la menor latencia posible desde que el dato es almacenado, hasta que es usado. Es por ello que, los principales proveedores de nube adaptan continuamente sus servicios de almacenamiento para que la brecha que existe entre almacenar (Lakehouse) y explotar el dato (DataWareHouse) sea cada vez menor y resulte rentable explotar y analizar el dato desde la misma plataforma en la que se almacena (como puede ser Athena sobre S3 en AWS o Synapse en Azure). Los conceptos como LakeHouse o DataLake buscan ofrecer una solución cross a toda la compañía que permitan establecer políticas de almacenamiento, seguridad y explotación del dato federadas y reutilizables. A su vez, tecnologías como Delta Lake, buscan completar el hueco que a día de hoy han dejado los proveedores de nube pública respecto al ciclo de vida del dato y al control de la evolución a lo largo del tiempo.

Durante el último cuatrimestre del 2021, hemos observado un crecimiento exponencial en el uso del término DataMesh. Este concepto fue introducido por primera vez a mediados de 2019 por Zhamak Dehghani que lo definió como: “An alternative sociotechnical approach to managing analytical data”. Es un concepto que no incorpora ningún componente tecnológico novedoso que no conociéramos o utilizáramos hasta ahora, si no que pretende tanto evolucionar el modo en el que trabajamos con los datos como escalar y especializar las herramientas y el equipo humano para poder abarcar el gran volumen de datos que se prevé generar durante todo el año 2022.

Automatización y los efectos de las plataformas LowCode

Con el aumento de la automatización e inteligencia de los servicios como LowCode, las empresas son capaces de generar valor de negocio de una forma mucho más rápida con menos esfuerzo. Esto permite a los proyectos generar escenarios más complejos en proyectos digitales que necesitan de desarrollo tradicional. LowCode nos permite enfocarnos en construir plataformas de datos seguras, resilientes, completas y eficientes, para así establecer lazos con el cliente de tal manera que se pueda consumir información de una manera más profunda, y generar PoCs en menos tiempo.

Gobierno del dato y privacidad

Vemos aquí una enorme brecha entre las expectativas de los clientes para servicios nativos de nube de catálogo y linaje del dato y lo que proporcionan a día de hoy servicios como Google Data Catalog o AWS Glue Data Catalog. En términos de gobierno de datos y privacidad, esperamos que los hyperscalers lancen nuevos servicios y características para competir con herramientas populares de terceros como Collibra, de forma similar a como Azure ha lanzado recientemente su servicio de gobierno de datos Azure Purview. 

Por último, suponemos que habrá más servicios que soporten de-identificación de datos para codificar la PII (Personally Identifiable Information) y otra información sensible incluida en estos. Aunque los datos de-identificados pueden compartirse y analizarse de forma segura, se introduce una sobrecarga adicional, ya que los datos deben ser tratados mediante pipelines, lo que supone que debe existir movimiento y compartición de los datos en bruto de forma segura. Suponemos que habrá más servicios de nube para integrar estas necesidades sin tener que trasladar los datos en crudo primero.

Democratización del dato

La mayoría de los proveedores de la nube utilizan sus data lakes distribuídos para almacenar terabytes de datos. El esfuerzo para democratizar esa información entre los diferentes tipos de usuarios con la seguridad apropiada sin exponer datos va a ser enorme. Así que, esperamos que surjan nuevas soluciones y herramientas para mitigar el problema y facilitar el acceso seguro a los datos. La democratización de los datos será crucial para el crecimiento de las futuras empresas, ya que los datos son la parte más valiosa de las compañías modernas. Si toda una organización pudiera hacer uso de sus datos, la capacidad para generar valor de negocio aumentará significativamente.

Conclusiones

En resumen, el año 2022 ofrece un panorama prometedor para las arquitecturas de datos en las nubes públicas. El gobierno y la privacidad de los datos serán cada vez más relevantes y sentarán las bases de los proyectos de big data y analítica de datos. Las tecnologías Low Code ayudarán en el desarrollo de PoCs, aumentando la entrega de valor y, finalmente, permitirá que surjan nuevos proyectos con desarrollo tradicional. Sin embargo, es seguro decir que de todas estas previsiones, la democratización del dato será el objetivo final de toda empresa orientada a los datos en 2022. Se trata de un requisito crucial para competir en el mercado y determinará directamente la creación de valor de negocio para las empresas. 

 

Imagen: Unsplash | @drmakete

Authors

  • Cloud Engineer in Keepler Data Tech: "I am a motivated and ambitious natural science computer scientist and professional cloud architect with an interdisciplinary training background and work experience in Germany and abroad. I am passionate about traveling, especially Japan where I have been living for a while. One of my most favorite experiences in life was to travel by bicycle without any property and money. Just you, the bicycle and the nature. A unique feeling of possibilities and freedom."

  • Cloud Architect in Keepler Data Tech: "I am a Software & Cloud Architect who is passionate about new technologies and their applications. I am not afraid of anything, I simply set myself a new challenge. To "disconnect" from computers I usually combine it with my hobby of automobilism, which has led me to be currently restoring a classic car."

  • Principal Cloud Architect en Keepler. "I am passionate about the world of software development and architecture, which drives me to be in continuous search of new technologies to learn and research. My professional work is developed on Cloud Computing with Amazon Web Services technology and non-relational databases (NoSQL) such as DynamoDB or MongoDB."

  • Cloud Engineer en Keepler: “As a technology lover, I have an innate desire to always be learning, improving, researching... and, of course, teaching. Currently, I am immersed in the world of software development oriented to Big Data technologies.”