Data Mesh
Das 2019 von Zhamak Dehghani erdachte Data Mesh bietet ein neues Paradigma für den Entwurf und die Verwaltung von Datenarchitekturen in Unternehmen. Das Data Mesh befürwortet einen dezentralisierten Ansatz für das Datenmanagement, bei dem das Eigentum, der Zugriff und die Steuerung von Daten über Domänen verteilt werden.
Der Übergang zum dezentralisierten Datenmanagement
Das zentralisierte und monolithische Datenmanagement, um einen Data Lake oder ein Data Warehouse herum, führt zu riesigen Engpässen, die Innovationen hemmen und die Fähigkeit der Datenteams, auf die Anforderungen der Fachbereiche zu reagieren, einschränken oder gar zunichte machen. Aus diesem Grund geht die Industrie allmählich zu einer dezentralisierten Datenverwaltung über, materialisiert durch das Data Mesh und seine vier Grundprinzipien:
Domain-oriented decentralized data ownership and architecture
Data as a product
Self-serve data infrastructure as a platform
Federated computational governance
85%
der Unternehmen erkennen die Relevanz des Data Meshs.
(BARC 2023)
54%
der Unternehmen planen oder implementieren ein Data Mesh.
(BARC 2023)
70%
der Unternehmen haben oder nutzen Datenprodukte
(Eckerson Group 2024)
Wichtige Faktoren für den aktuellen Erfolg des Data Meshs
Wirtschaftlicher Druck
Wirtschaftlicher DruckFührungskräfte stehen zunehmend unter Druck, ihre Investitionen in die Dateninfrastruktur und das Datenmanagement zu rechtfertigen, während die Messung eines greifbaren ROI trotz der erheblichen Ressourcen, die von den Unternehmen bereitgestellt werden, eine Herausforderung bleibt.
Wettbewerbsfähigkeit und Einfluss von KI
Wettbewerbsfähigkeit und Einfluss von KIDrohender Verlust von Wettbewerbsfähigkeit führt zu einem erhöhten Interesse an den Möglichkeiten von KI, während KI-Modelle immer erschwinglicher werden. Die Skalierbarkeit von KI-Anwendungen erfordert jedoch qualitativ hochwertige und sichere Daten, was den Druck auf die zentralen Datenmanagement-Teams erhöht.
Flexibilität bei der Umsetzung
Flexibilität bei der UmsetzungDas Data Mesh beschreibt eher anpassbare Prinzipien als starre Architekturen oder Technologien und ermöglicht so eine Vielzahl von Ansätzen für die Umsetzung.
Akzeptanz und Begeisterung
Akzeptanz und BegeisterungDa das Data Mesh auf einem soliden theoretischen und empirischen Konsens beruht, wird es von Datenteams und Entscheidungsträgern weithin angenommen und unterstützt, was die Einführung erleichtert und den Widerstand gegen Veränderungen verringert.
Zugänglichkeit und Kosteneffizienz
Zugänglichkeit und KosteneffizienzDie Umsetzung der Data-Mesh-Prinzipien erfordern eher die Umwidmung vorhandener Ressourcen als neue Investitionen. Dies bietet einen zugänglichen und kostengünstigen Rahmen für die schrittweise Umgestaltung der Datenmanagement-Praktiken, die an jeden organisatorischen Kontext angepasst werden kann.
Zeenea unterstützt Data Mesh als Supervision System
Die große Stärke von Zeenea beruht auf einem skalierbaren Knowledge Graph, einer Struktur, die sich von bestehenden Werkzeugen zur Verwaltung von Metadaten und traditionellen Datenkatalogen unterscheidet. Wir haben die Zeenea Data Discovery Platform so weiterentwickelt, dass sowohl der Bedarf an einem übergreifenden Marketplace als auch der Bedarf an einem privaten Datenkatalog für jeden Bereich gedeckt werden kann.
Private und nach Domänen föderierte Datenkataloge
In der Zeenea Data Discovery Platform ist jede Domäne für eine Untermenge des Graphen verantwortlich. Für diesen privaten Data Catalog können sie die Daten nach ihren Bedürfnissen modellieren, gemeinsame Governance-Regeln implementieren, den Katalog befüllen, ihre Benutzer und Berechtigungen verwalten – und kontrollieren, welche Objekte und Informationen mit anderen Domänen geteilt werden. Dies ist das Grundprinzip unserer Technologie zur Föderation von Datenkatalogen.
Ein Marketplace zum Teilen wertvoller Daten zwischen den Domänen
Die “Sub Data Catalogs” teilen die Datenobjekte ihrer Wahl auf dem organisationsinternen Marketplace. Der Enterprise Data Marketplace enthält nicht nur Datenprodukte, sondern auch alle weiteren Objekte, die von den Domänen geteilt werden – Business Terms, Dashboards, ML-Modelle usw. Der Marketplace ist eine wesentliche Komponente für den Erfolg des Data Meshs in größerem Maßstab – er bietet Datennutzern eine einfache Lösung für die Suche nach Datenprodukten und den Zugriff auf sie.
Die Spiegelung des Data Mesh auf Metadaten-Ebene
Mit der föderierten Graphstruktur spiegelt die Zeenea das Data Mesh auf Metadaten-Ebene wider – ein Spiegel, der kontinuierlich angepasst werden kann, je nach Weiterentwicklung des Data Mesh. Zeenea ist als eine skalierbare Gesamtheit miteinander verbundener Graphen strukturiert und bildet daher die ideale Grundlage für den Aufbau des Data Mesh Supervision Systems und die Unterstützung der Data-Mesh-Implementierung.
The Practical Guide to Data Mesh
Mehr zum Thema Data Mesh
