Data Mesh: Daten verantwortungsvoll dezentralisieren
Mit einer neuen Datenarchitektur und Denkweise soll das Data-Mesh-Paradigma den Weg ebnen, unternehmerischen Mehrwert zu generieren.
(Bild: Scott Prokop / Shutterstock.com)
- Prof. Arif Wider
Noch vor nicht allzu langer Zeit lag Data Mining voll im Trend. Unternehmen konnten buchstäblich nicht genug von Daten bekommen. Bald aber stellte sich die Frage, was man denn mit den ganzen Daten machen sollte. Viele erwarteten, dass aus all diesen ungeordneten Datenbeständen mittels Machine Learning (ML) und Künstlicher Intelligenz (KI) wertvolle Informationen extrahiert werden würden, die die Grundlage informierter Entscheidungen bilden sollten.
Aber es kam ganz anders: Die traditionellen Verfahren zur Gewinnung aussagekräftiger Erkenntnisse aus Big Data ließen Ernüchterung zurück. Die Gründe? Probleme mit der Datenqualität und beim Recruiting von Data Engineers, überlastete Datenplattform-Teams und kostspielige Dateninfrastrukturprojekte, die nicht zum Abschluss kommen wollten.
Die beiden derzeit meistverbreiteten Ansätze für das Datenmanagement basieren entweder auf Data-Warehouse- oder Data-Lake-Technologien. Data Warehouses speichern strukturierte Daten in abfragefähigen Formaten. Ein Data Lake dagegen speichert in seiner einfachsten Ausprägung Rohdaten aus unterschiedlichsten Quellen. Bei diesem Ansatz können die Daten bis zu dem Zeitpunkt, an dem die Analyse beginnen soll, das Schema beibehalten, das durch das Quellsystem vorgegeben wurde. Beiden Datenarchitekturen liegt häufig ein zentralisiertes IT-System mit zentraler Datenverantwortung zugrunde – so führen sie besonders in wachsenden IT-Organisationen schnell zur Silobildung.
Das Potenzial von Daten voll ausschöpfen
Mit Data Mesh steht Entscheiderinnen und Entscheidern dagegen ein neues Paradigma zur Verfügung, das auf bewährten Software-Engineering-Prinzipien aufbaut. Data Mesh verfolgt einen dezentralen Datenarchitekturansatz. Es wendet Prinzipien an, die aus der modernen Softwareentwicklung stammen, aber in diesem Fall auf Daten angewendet werden, nämlich Domain-driven Design (DDD), produktorientiertes Denken, Self-Service-Infrastrukturplattformen und Federated Governance.
Nach diesen Prinzipien erstellen Unternehmen Datenprodukte im Sinne dezentraler Fachangebote für interne Datenkonsumierende, die sich auf eine Fachdomäne konzentrieren und die die Datenverantwortung und -nutzung aufeinander abstimmen. Diese Datenprodukte kooperieren und bauen aufeinander auf, wodurch ein Netzwerkeffekt entsteht. Aus dem daraus resultierenden Zyklus aus Daten, Analyse und Maßnahmen entwickelt sich kontinuierlich unternehmerischer Mehrwert.
Aufmerksame Beobachter könnten einwenden, dass es längst Datenarchitekturen gibt, die in der Lage sind, Daten zu erfassen und zu analysieren. Warum gelingt es damit nicht bereits, das Potenzial der Daten vollständig auszuschöpfen?
