Vortrag: Modern Data Stack Hands-on – Erfahrungen aus dem Aufbau einer Cloud-Datenplattform mit Snowflake
Der Modern Data Stack hat sich in den letzten Jahren als ein Set an Tools und Best Practices herausgebildet, um moderne, robuste und skalierbare Datenplattformen in der Cloud zu entwickeln.
Wir berichten aus einem Kundenprojekt bei einer Leasinggesellschaft, in dem eine Datenplattform in der Cloud für tagesaktuelles Reporting und Data Science aufgebaut wurde. Dabei wurde Snowflake in Verbindung mit AWS als Data Warehouse (DWH) gewählt. Wir arbeiten nach dem ELT-Prozess, nutzen dbt im Data Warehouse für Transformationen, verwenden Dagster als Orchestrator und Ingest und setzen PowerBI als Business Intelligence-Tool ein.
In unserem Vortrag beschreiben wir die Entwicklungs- und Datenprozesse, gehen auf Vor- und Nachteile und das Zusammenspiel der gewählten Tools ein und teilen die Lessons Learned und nächste Schritte.
Filip Stepniak und Dr. Nicolas Haubner, esentri AG