Data Warehouse
Definition: Ein Data Warehouse (kurz DWH, dt. Datenlager) ist ein zentrales, themenorientiertes und historisch persistentes Datenspeichersystem, das strukturierte Daten aus verschiedenen operativen Quellsystemen eines Unternehmens in einem einheitlichen, für analytische Abfragen optimierten Schema zusammenführt. Im Gegensatz zu transaktionalen OLTP-Datenbanken (Online Transaction Processing), die für schnelle Schreib- und Lesevorgänge im operativen Betrieb ausgelegt sind, ist ein Data Warehouse auf OLAP-Workloads (Online Analytical Processing) ausgerichtet: komplexe, lesende Abfragen über große historische Datenmengen, die Basis für Business Intelligence, Reportings und strategische Entscheidungen bilden. Der Begriff wurde 1992 von Bill Inmon geprägt, der ein Data Warehouse als "subject-oriented, integrated, time-variant, and non-volatile collection of data" definierte – eine Definition, die bis heute wegweisend ist. Parallel dazu entwickelte Ralph Kimball einen dimensionalen Ansatz mit Stern- und Schneeflockenschemata, der besonders im Marketing breite Anwendung findet. Ein Data Warehouse ist damit nicht nur ein technisches System, sondern auch ein organisatorisches Konzept, das eine einheitliche Datenbasis – eine sogenannte Single Source of Truth – für alle Unternehmensberichte schafft.
Erläuterung
Im Marketing-Kontext bildet ein Data Warehouse die unverzichtbare Grundlage für unternehmensweite Analysen, die Daten aus heterogenen Quellen zusammenführen: CRM-Systeme (z. B. Salesforce oder HubSpot), Web-Analytics-Plattformen (Google Analytics 4), E-Commerce-Backends (Shopify, SAP Commerce), Werbeplattformen (Google Ads, Meta Ads) und ERP-Systeme liefern täglich Millionen von Datenpunkten, die ohne ein zentrales Repository widersprüchliche Berichte produzieren würden. Das Data Warehouse bereinigt, transformiert und vereinheitlicht diese Daten, sodass alle Teams mit konsistenten Kennzahlen arbeiten.
Architektonisch unterscheidet man drei klassische Schichten: Die Staging-Schicht nimmt Rohdaten aus den Quellsystemen auf (oft über ETL- oder ELT-Prozesse), die Integration Layer harmonisiert und historisiert die Daten nach definierten Regeln, und die Präsentationsschicht stellt sauber modellierte Datenmärkte (Data Marts) für spezifische Fachbereiche bereit. Im Marketing-Kontext wären das z. B. ein Campaign Data Mart, ein Customer Data Mart oder ein Revenue Data Mart. Ralph Kimball beschreibt diesen Bus-Ansatz mit konformen Dimensionen in seinem Standardwerk "The Data Warehouse Toolkit" (Kimball & Ross, 2013), das als wichtigstes Referenzwerk für dimensionales Modellieren gilt.
Moderne Cloud-Data-Warehouses wie Google BigQuery, Amazon Redshift, Snowflake oder Microsoft Azure Synapse Analytics haben die Architektur grundlegend verändert: Sie trennen Rechen- und Speicherkapazität, skalieren dynamisch und ermöglichen SQL-Abfragen auf Milliarden von Zeilen in Sekunden – ohne dass vorab Indizes oder Aggregate manuell gepflegt werden müssen. Gartner prognostiziert, dass bis 2025 mehr als 75 % aller neuen Data-Warehouse-Implementierungen cloudbasiert sind (Gartner, "Magic Quadrant for Cloud Database Management Systems", 2023). Diese Entwicklung hat den Zugang zu leistungsfähiger Dateninfrastruktur auch für mittelständische Unternehmen demokratisiert.
Kernmerkmale eines Data Warehouse
- Themenorientierung: Daten werden nicht nach Quellsystemen, sondern nach fachlichen Themen wie Kunden, Produkte, Kampagnen oder Transaktionen organisiert.
- Integration: Daten aus verschiedenen Quellsystemen werden vereinheitlicht, Formate und Schlüssel harmonisiert, sodass systemübergreifende Analysen möglich sind.
- Zeitvarianz: Ein Data Warehouse speichert Historien. Änderungen an Kundendaten oder Produktpreisen werden mit Zeitstempeln versioniert (Slowly Changing Dimensions), sodass Analysen zu beliebigen Zeitpunkten möglich sind.
- Nicht-Flüchtigkeit: Einmal geladene Daten werden nicht überschrieben, sondern dauerhaft vorgehalten. Das sichert die Reproduzierbarkeit von Berichten und Analysen.
- Optimierung für Lese-Abfragen: Durch denormalisierte Schemata (Stern- oder Schneeflockenschema) und column-store-Architekturen werden analytische Abfragen gegenüber transaktionalen Datenbanken erheblich beschleunigt.
Data Warehouse vs. verwandte Konzepte
- Data Lake: Ein Data Lake speichert Rohdaten aller Formate (strukturiert, semi-strukturiert, unstrukturiert) ungefiltert. Das DWH hingegen enthält kuratierte, transformierte, qualitätsgesicherte Daten. Häufig werden beide kombiniert: Der Data Lake dient als Landing Zone, das DWH als kuratierter Analysebereich.
- Data Lakehouse: Neuere Architekturen wie Databricks Lakehouse oder Google BigLake vereinen die Flexibilität des Data Lake mit der Gouvernanz und Performance des DWH auf einer gemeinsamen Speicherschicht.
- Data Mart: Ein Data Mart ist ein thematisch eingeschränkter Ausschnitt des Data Warehouse, der für eine bestimmte Abteilung oder einen Anwendungsfall optimiert ist, z. B. ein Marketing-Data-Mart mit Kampagnen- und Conversion-Daten.
- Operational Data Store (ODS): Ein ODS hält aktuelle, near-realtime-Daten aus operativen Systemen vor und dient als Zwischenpuffer zwischen Quellsystemen und DWH, wenn zeitkritische Entscheidungen notwendig sind.