Bergfreunde
Bergfreunde GmbH
E-Commerce / Outdoor
·
2020 – 2022
https://www.bergfreunde.de ↗
Projekte
Datenorchestrierung mit Apache Airflow
2020–2022
Für Bergfreunde haben wir die Datenorchestrierungsschicht komplett neu aufgebaut. Entstanden ist eine erste, vereinheitlichte Datenorchestrierung auf Apache Airflow mit einer vollständigen ETL-Pipeline über 600 DAGs, einschließlich Datenmodellierungsjobs. Bergfreunde erhielt damit eine einheitliche Engine, die sämtliche Datenjobs zeitgenau und zu 100 % konsistent ausführt. Zur Übergabe des Projekts wurde eine umfangreiche Dokumentation erstellt und ein Team von 4 Data Engineers auf der neuen Plattform geschult.
Data Engineer
Google Cloud
Kubernetes
Apache Airflow
BigQuery
Python
Terraform