Data Lakes der ersten Generation wurden in der Regel in den Rechenzentren der Unternehmen mit den Open Source Produkten des Apache Hadoop Ökosystems aufgebaut. Die Verarbeitung großer Datenmengen wurde durch die enge Kopplung von Storage- und Compute im Cluster ermöglicht.
Durch die größere Bandbreite moderner Netzwerktechnologie kann dieses Paradigma bei den Data Lakes der zweiten Generation aufgegeben werden. Dies ermöglicht modulare, flexible Architekturen, die häufig in der Cloud mit den proprietären Managed Services der Anbieter umgesetzt werden.
Cloud-native Konzepte und Technologien wie Containerisierung und Kubernetes machen es aber möglich, moderne Datenplattformen mit Open Source Software zu orchestrieren, und das nicht nur in einer Cloud, sondern auch Multi-Cloud oder hybrid. Der modulare Architekturansatz eignet sich auch für die Implementierung eines dezentralen Data-Mesh, der dritten Generation von Data Lakes.
In diesem Vortrag möchten wir die Architektur unserer integrierten Datenplattform vorstellen, und unseren Ansatz „Everything-as-Code“ an den Beispielen Deployment und Security erläutern. Wir werden auf aktuelle Herausforderungen bei der Implementierung der Plattform eingehen und verschiedene Szenarien darstellen, wie sie bei unseren Kunden und Partnern eingesetzt wird.
Dr. Stefan Igel, Sönke Liebau, Stackable GmbH
Stefan ist seit 25 Jahren im IT-Projektgeschäft und hat in dieser Zeit viele Unternehmen bei der Einführung von Datenplattformen für Business Intelligence und Analytics begleitet. Er kann auf mehr als 11 Jahre Erfahrung in Big-Data-Projekten zurückblicken und hat die Entwicklung des Themas in Deutschland mit vorangetrieben. Bei Stackable verantwortet er als COO operative wie strategische Aufgaben, um so die Produkt- und Geschäftsentwicklung weiter voranzutreiben. Auch dabei hilft ihm seine langjährige Erfahrung im erfolgreichen Aufbau und Entwicklung von Teams, in der Organisation eines strategischen Wissensmanagements sowie in Sales und Marketing für Big-Data-Projekte.
Sönke ist CPO und Mitgründer von Stackable. Er arbeitet seit vielen Jahren im Big-Data-Umfeld und unterstützt Kunden beim Design und der Umsetzung ihrer individuellen Datenplattformen. Darüber hinaus arbeitet er aktiv an diversen Open-Source-Projekten mit. Durch die intensive Erfahrung im Aufbau und bei der Betreuung von Big Data Infrastrukturen hat er einen umfangreichen Einblick in die unterschiedlichen Bedürfnisse und Rahmenbedingungen, innerhalb derer eine Big-Data-Architektur funktionieren muss. Als CPO bei Stackable ist es seine Aufgabe, diese Erfahrung so in die Entwicklung der Stackable Data Platform einzubringen, dass das Produkt die Bedürfnisse aller Kunden vollständig abdeckt.