2022: el año de la gestión eficiente del dato y de las organizaciones descentralizadas

La gestión del dato debería ser una prioridad en la agenda de las organizaciones para el próximo año.

Según datos publicados por IDC, solo en 2020 se crearon 64,2 Zetabytes de datos, cifra muy cercana a la capacidad de almacenamiento total instalada que alcanza los 6,8 Zetabytes. Sin embargo, de todo este volumen de datos en constante crecimiento, hasta 2021 solo se han guardado y almacenado el 2%, la gran mayoría restante o bien se pierde o bien forman parte de lo que se conoce como “datos efímeros”, aquellos únicamente asociados al momento del consumo, que requieren almacenamiento solo temporal, o que son actualizados o sobrescritos con datos nuevos. 

En este contexto, lo que está claro es que las compañías deberían preparar sus sistemas para capturar más información. Los datos son y serán un valor de negocio clave para las organizaciones, permitiéndoles entrar en lo que se conoce como el círculo virtuoso de los datos: la captura de datos permite generar información de valor, que analizada y explotada, genera insights de negocio para mejorar la toma de decisiones y generar más ventas, las cuales volverán a entregar más datos que generarán nuevos insights. 

Cinco serán las estrategias claves en la gestión del dato en el próximo año. 

1. Privacidad y seguridad: En 2022, muchos seguirán analizando la mejor manera de utilizar su información, pero deberán primero garantizar la completa seguridad de sus datos. Una tendencia en este sentido pasará por realizar una gestión global del dato, que controle tanto la visibilidad de los distintos repositorios de datos, como el acceso autorizado a cada dato, en un framework de trabajo que aplique unos criterios claros en su día a día.  Esto es posible con la creación de una capa de gobierno del dato que ofrezca un control sobre los accesos, la seguridad y privacidad del dato, así como una descripción detallada de su linaje y ownership, entre otros. Una estrategia que, además, aporte una mejor experiencia de usuario a la hora de crear, compartir y consumir datos. 
2. Democratización del dato: El gran objetivo de las organizaciones es facilitar el acceso (controlado) de todas las unidades de negocio a los datos, que todos puedan acceder a ellos y que puedan aprovechar el trabajo realizado por otros departamentos. Que el trabajo ya realizado a partir de unos datos quede disponible y accesible para que pueda ser utilizado por otras áreas impulsando así un enfoque data-driven en la organización.
3. Control del coste: Cuando se dispone de una plataforma de datos, potencialmente todos los equipos de la organización pueden consumirlos, y este consumo supone coste. El siguiente paso es resolver el reto de distribución del coste del dato e identificar fórmulas para monetizarlo. El objetivo final pasa por distribuir el coste basado en el consumo que se realice del mismo (pago por uso).
4. Eficiencia y automatización: Uno de los objetivos recientemente perseguidos con especial interés por las organizaciones es lograr un alto grado de eficiencia en sus procesos operativos relacionados con los datos. La automatización se convierte en la tendencia a perseguir en procesos como la catalogación, publicación, privacidad o acceso al dato aportan un gran valor, contribuyen al aumento de beneficios y a conseguir resultados de una forma menos compleja y más rápida.
5. Inteligencia Artificial: Hasta ahora, la aproximación más habitual al desarrollo de proyectos que utilizan inteligencia artificial para tratar los datos ha sido a través de Pruebas de Concepto. Sin embargo, la confianza que ya genera esta tecnología hace que, cada vez más, se propongan casos de uso para conseguir resultados reales y un valor para Negocio y para los clientes de la organización. La inteligencia artificial se está aplicando principalmente en su variante machine learning, en ámbito de automatización de procesos administrativos y operativos, detección de anomalías y predicción de demandas o en entornos de mantenimientos; todo ello, muy orientado a la búsqueda de la eficiencia y el ahorro de tiempo y costes.

2022 ofrece un panorama prometedor para las arquitecturas de datos en las nubes públicas.

El gobierno y la privacidad de los datos serán cada vez más relevantes y sentarán las bases de los proyectos de big data y analítica de datos. Las tecnologías Low Code ayudarán en el desarrollo de PoCs, aumentando la entrega de valor y, finalmente, permitirá que surjan nuevos proyectos con desarrollo tradicional. Sin embargo, es seguro decir que de todas estas previsiones, la democratización del dato será el objetivo final de toda empresa orientada a los datos en 2022. Se trata de un requisito crucial para competir en el mercado y determinará directamente la creación de valor de negocio para las empresas. 

Data Warehouse vs Delta Lake vs Lakehouse approach

La cantidad de datos que se generan a diario hace que sea necesario buscar soluciones de almacenamiento seguro a largo plazo y herramientas que permitan explotar y analizar el dato con la menor latencia posible desde que el dato es almacenado, hasta que es usado. Los conceptos como LakeHouse o DataLake buscan ofrecer una solución cross a toda la compañía que permitan establecer políticas de almacenamiento, seguridad y explotación del dato federadas y reutilizables. A su vez, tecnologías como Delta Lake, buscan completar el hueco que a día de hoy han dejado los proveedores de nube pública respecto al ciclo de vida del dato y al control de la evolución a lo largo del tiempo.

Durante el último cuatrimestre del 2021, hemos observado un crecimiento exponencial en el uso del término DataMesh. Este concepto no incorpora ningún componente tecnológico novedoso que no conociéramos o utilizáramos hasta ahora, si no que pretende tanto evolucionar el modo en el que trabajamos con los datos como escalar y especializar las herramientas y el equipo humano para poder abarcar el gran volumen de datos que se prevé generar durante todo el año 2022.

Automatización y los efectos de las plataformas LowCode

Con el aumento de la automatización e inteligencia de los servicios como LowCode, las empresas son capaces de generar valor de negocio de una forma mucho más rápida con menos esfuerzo. Esto permite a los proyectos generar escenarios más complejos en proyectos digitales que necesitan de desarrollo tradicional. LowCode nos permite enfocarnos en construir plataformas de datos seguras, resilientes, completas y eficientes, para así establecer lazos con el cliente de tal manera que se pueda consumir información de una manera más profunda, y generar PoCs en menos tiempo.

Gobierno del dato y privacidad

Vemos aquí una enorme brecha entre las expectativas de los clientes para servicios nativos de nube de catálogo y linaje del dato y lo que proporcionan a día de hoy servicios como Google Data Catalog o AWS Glue Data Catalog. En términos de gobierno de datos y privacidad, esperamos que los hyperscalers lancen nuevos servicios y características para competir con herramientas populares de terceros como Collibra, de forma similar a como Azure ha lanzado recientemente su servicio de gobierno de datos Azure Purview.

Suponemos que habrá más servicios que soporten de-identificación de datos para codificar la PII (Personally Identifiable Information) y otra información sensible incluida en estos. Aunque los datos de-identificados pueden compartirse y analizarse de forma segura, se introduce una sobrecarga adicional, ya que los datos deben ser tratados mediante pipelines, lo que supone que debe existir movimiento y compartición de los datos en bruto de forma segura. Entendemos que habrá más servicios de nube para integrar estas necesidades sin tener que trasladar los datos en crudo primero.

Democratización del dato

La mayoría de los proveedores de la nube utilizan sus data lakes distribuídos para almacenar terabytes de datos. El esfuerzo para democratizar esa información entre los diferentes tipos de usuarios con la seguridad apropiada sin exponer datos va a ser enorme. Así que, esperamos que surjan nuevas soluciones y herramientas para mitigar el problema y facilitar el acceso seguro a los datos. La democratización de los datos será crucial para el crecimiento de las futuras empresas, ya que los datos son la parte más valiosa de las compañías modernas. Si toda una organización pudiera hacer uso de sus datos, la capacidad para generar valor de negocio aumentará significativamente.

Lo que está por venir en IA es aún más apasionante y las empresas necesitarán productos cada vez más sofisticados.

Los datos siguen siendo trending topic en todos los sectores económicos y la extracción de valor de los mismos está siendo una prioridad cada vez mayor. Ésto ha conllevado una demanda exponencial de formación en soft y hard skills (conocimiento funcional y técnico) en relación a conceptos tales como Big Data, plataformas Cloud, arquitecturas en proyectos Cloud, automatización de procesos, ciencia de datos o BI, entre otros. 

Durante los últimos años, multitud de empresas han visto necesaria la migración de sus servicios on-premise a cualquiera de las plataformas cloud públicas actuales. Esto les ha permitido la aceleración del desarrollo de casos de uso basados en insights extraídos de sus datos.

El proceso de digitalización de la industria es una realidad, y con la implantación de múltiples dispositivos IoT que generan cantidades ingentes de información, el verdadero desafío es la transformación en acciones que ayuden a prevenir, alertar o aconsejar con un alto grado de éxito. Algunos ejemplos los vemos en el diagnóstico temprano de enfermedades o en los prototipos de vehículos autopilotados. 

La tendencia creciente en ciberataques puede afectar al prestigio de muchas empresas y provocar daño económico crítico. En este escenario, la inversión en seguridad está permitiendo el desarrollo de modelos de confianza cero, protección en trabajo remoto o prevención de fuga de información.

La interacción hombre máquina siempre ha sido uno de los mayores desafíos en la IA, y uno de los casos de uso más populares siguen siendo los asistentes conversacionales. La evolución clara de estos asistentes es su colaboración, permitir que distintos bots expertos en ciertas áreas de conocimiento cooperen entre ellos y obtengan herramientas más versátiles.

Y mañana? 

Lo que está por venir es aún más apasionante y suscita gran interés por la comunidad de IA y las empresas que necesitan productos cada vez más sofisticados.

Una creciente interacción entre robots y humanos exigirá de mejores herramientas NLP permitiendo mayor personalización. Como consecuencia, las soluciones deberán ser cada vez más transparentes y estar basadas en criterios fairness que estén alineados con una concienciación ética en los proyectos IA.

Habrá una demanda de mayor autonomía de los dispositivos IoT lo que vendrá de la mano del desarrollo de tecnología TinyML.Finalmente, la democratización de la IA será una realidad con la normalización de No-coding Machine Learning permitiendo a distintos perfiles técnicos y de negocio el desarrollo de complejas aplicaciones .

Mantener el espíritu de equipo, el engagement del empleado, la cultura de las organizaciones y la capacidad de innovación, ha sido y es el reto del teletrabajo.

Analizamos las tendencias agile en el 20 aniversario del Agile Manifesto. Si los últimos años el mundo agile se había enfocado en promover y dar a conocer su mindset, la gran novedad de estos dos años de pandemia en el sector IT viene con los nuevos retos que ha planteado el repentino aumento del teletrabajo y el impacto que ha tenido en los empleados, en las organizaciones y en su capacidad de innovación. Además, cada vez hay más interés por renovar y reforzar la cultura de las organizaciones, conscientes de que la agilidad en el desarrollo, la entrega de valor y una buena estrategia empresarial son factores competitivos.

A consecuencia de la pandemia, muchas empresas se vieron obligadas a tener a sus empleados trabajando desde casa de un día para otro, teniendo que acelerar la adopción de nuevas tecnologías y procesos. Afortunadamente, la mayoría de empleados del sector IT ya estaba familiarizada con el uso de tecnologías de comunicación a distancia, pero quedaba por ver el impacto de tener a todos los trabajadores deslocalizados. En general, ha habido una buena adaptación en este sector a la hora de hacer las sesiones en remoto y de tratar de reducir el impacto de la distancia física sin mermar la productividad ni la capacidad de innovar. Se han adaptado las técnicas de equipo existentes y se han aprendido otras nuevas para facilitar sesiones y reducir los estragos que la distancia física puede causar en la comunicación y la generación de inteligencia colectiva. Herramientas como Miro, que ofrece la posibilidad de hacer tableros online de forma colaborativa, han sido fundamentales para ello.

Los principales retos han sido y, siguen siendo, mantener el espíritu de equipo, el engagement del empleado, la cultura de las organizaciones y la capacidad de innovación. En particular, la deslocalización ha afectado a las nuevas incorporaciones, que no han podido tener esa primera toma de contacto física con la empresa ni conocer a sus compañeros cara a cara, lo cual dificulta la generación de vínculo y el sentimiento de pertenencia. La preocupación por la salud y el aislamiento han añadido dificultades que las empresas han intentado combatir con acciones específicas, creando foros de encuentro on-line para que los empleados interactúen y se conozcan.

Según el informe anual, 15th State of agile (2021), un 22% de las empresas han empezado a practicar agile en estos dos años. El uso de agile en equipos de software ha aumentado, pasando del 37% en 2020 al 86% en 2021 y en áreas no-IT se ha duplicado. Cada vez son más los equipos de Finanzas, RR.HH. y Marketing que utilizan prácticas y procesos agile. Con respecto a las metodologías y frameworks, Scrum sigue siendo la preferencia con un 66% de uso. Se mantienen ScrumBan y el método Kanban con unos discretos 9% y 6%, respectivamente. 

Nuevos modelos organizativos que ya existían se están dando más a conocer y cada vez se habla más de Teal, Holacracia y Sociocracia 3.0. Aún está lejos la aplicación de estos nuevos paradigmas en organizaciones que no se constituyeron así desde su inicio. No obstante, cada vez son más las empresas que introducen cambios en su cultura, dan voz a sus empleados y se preocupan por su bienestar además de por su desarrollo profesional. La tendencia es orientarse a estructuras descentralizadas y de poder delegado orientadas a propósito, con una fuerte base en la comunicación, la colaboración y la inteligencia colectiva. 

La gran pregunta es, ¿el teletrabajo ha venido para quedarse después de la pandemia? Es muy probable que continúe, aunque con menor intensidad. Como mínimo, se mantendrá un modelo híbrido, con días presenciales y días en remoto. Según McKinsey  (2021), esto sitúa la cifra en cuatro y cinco veces por encima que antes de la pandemia y el espacio en las oficinas se verá reducido en un 30%.

Con todo esto, es fácil concluir que tanto el paradigma agile como las culturas organizacionales centradas en el empleado y en los clientes que aprovechan la inteligencia colectiva seguirán siendo tendencia los próximos años.

Imagen: Rawpixel