CASO DE ÉXITO #BigData #IoT

Data lake de fabricación en la nube

Cepsa es una compañía multinacional consolidada en el sector, con años de experiencia y un equipo de más de 11.000 profesionales a lo largo de los cinco continentes en los que opera, integrando todas las fases de la cadena de valor de la energía.

Cepsa aspira a convertirse en una referente de la movilidad sostenible, biocombustibles e hidrógeno verde en España y Portugal, así como en una compañía clave en la Transición Energética, poniendo a los clientes en el centro de su actividad y ayudándoles en sus esfuerzos en la descarbonización.

El sector energético e industrial está en plena transformación.

Esta transformación viene de la mano de una nueva revolución industrial llamada Industria 4.0, donde el uso de los datos tiene una especial relevancia.

Los sistemas actuales de control e historificación de eventos han demostrado tener limitaciones importantes a la hora de permitir integrar y analizar la información junto con datos ajenos a las propias plantas. Además, dichos sistemas tienen modelos de licenciamiento cerrados que penalizan al cliente cuando quiere integrar información externa, como por ejemplo, datos de laboratorio, información meteorológica, información de costes y precios…

Solución en Amazon Web Services

La estandarización de protocolos de IoT permite utilizar las plataformas actuales de control de planta pero añadir funcionalidad de historificación ilimitada, a menor coste, con capacidad multivendor y con amplios recursos para integrar datos externos y realizar sofisticados análisis sobre los mismos.

Con esta solución, Cepsa busca construir un Data Lake en la nube que centralice la información procedente de cientos de miles de sensores instalados en sus plantas de fabricación, integre fuentes adicionales que enriquezcan esta información y permita explotar los datos mediante procesos de analítica avanzada, visualización y herramientas de Business Intelligence.

El Data Lake es capaz ingestar, procesar y poner a disposición de los usuarios de la plataforma una media de dos mil señales por segundo de forma rápida en un modelo near-real time, así como persistir la información en un histórico de varios años con una proyección de crecimiento a nivel de petabytes.

Keepler y Cepsa han utilizado la información almacenada en el Lago de Datos de Fabricación para implementar diferentes Productos de Datos que proporcionan diferentes beneficios empresariales. Por ejemplo, utilizando la información almacenada, Keepler pudo optimizar la materia prima necesaria en la fabricación de diferentes productos químicos.

La solución se basa completamente en el uso de servicios gestionados, con los que se consigue una implementación serverless fácil de mantener, robusta, segura y escalable. Los principales servicios de AWS utilizados son:

  • AWS IoT como broker central de mensajería MQTT.
  • AWS Greengrass para la integración con sensores on-premises vía MQTT y OPC-UA.
  • Amazon Kinesis para el procesamiento de información en near-real time.
  • Amazon S3 como repositorio principal de almacenamiento.
  • Amazon Athena para consultar el Data Lake mediante SQL.
  • AWS Lambda y AWS Fargate para ejecutar lógica de aplicación.
  • AWS Glue como herramienta de ETL y Catálogo de Datos.
  • AWS ElasticSearch como repositorio de datos indexados para series temporales.
  • Amazon DynamoDB como almacenamiento de metadatos.
  • AWS Database Migration Service para la migración y replicación de bases de datos on-premises.
Beneficios

  • Pago por uso gracias a la nube pública. Una solución sin grandes inversiones iniciales y con bajo coste de experimentación.

  • Solución implementada totalmente mediante servicios gestionados con un coste de operación es reducido.

  • Todas las piezas escalan horizontalmente, permitiendo integrar más sensores sin que ello sea suponga un cuello de botella en la plataforma.

  • Sistema abierto que permite integrar cualquier herramienta de explotación de la información que pueda desplegarse sobre AWS.

  • Funciona con servicios como S3 o DynamoDB, que proporcionan alta disponibilidad y robustez por defecto.

  • Coste de almacenamiento de la información en bruto en S3 tan bajo comparado con los sistemas tradicionales (pasando de una escala de millones a miles de €), que Cepsa puede almacenar todos los valores emitidos por todos los sensores sin tener que aplicar mecanismos de interpolación y aproximación de valores.

Keepler es una empresa boutique de servicios profesionales tecnológicos especializada en el diseño, construcción, despliegue y operaciones de soluciones software de Big Data y Machine Learning para grandes clientes. Utiliza metodologías Agile y Devops y los servicios nativos de la nube pública para la construcción de sofisticadas aplicaciones de negocio centradas en datos e integradas con diversas fuentes en modo batch y tiempo real. Es nivel Advanced Consulting Partner y cuenta con una plantilla técnica en la que el 90% de sus profesionales están certificados en AWS. Keepler actualmente trabaja para grandes clientes en diversos mercados, como servicios financieros, industria, energía, telecomunicaciones y media.

¿Hablamos?

Si quieres saber más o que desarrollemos una propuesta para tu caso de uso concreto, contáctanos y hablamos.