Data Mesh: Domänorienterade dataägare och pipelines

  • by

Data meshar sammankopplat dataägande bland domändataägare som hålls ansvariga för att tillhandahålla sitt data som produkter samtidigt som de underlättar kommunikationen mellan distribuerat data över olika platser. Medan datainfrastrukturen är ansvarig för att förse varje domän med lösningar för att bearbeta den, har domäner till uppgift att hantera intag, rengöring och aggregering av data för att generera tillgångar som kan användas av business intelligence- applikationer. 

Varje domän är ansvarig att äga sina ETL- pipelines men en uppsättning funktioner tillämpas på alla domäner som lagrar, katalogiserar och underhåller åtkomstkontroller för rådata. När data har levererats av och omvandlats av en viss domän kan domänägarna sedan utnyttja data för sina analyser eller operativa behov.  

Självbetjäningsfunktionalitet 

Data meshar hävstångsprinciperna för domänorienterad design för att leverera en self-serve dataplattform som tillåter användare att abstrahera den tekniska komplexiteten och fokusera på sina individuella dataanvändningsfall. 

Enligt Zhamak Dehghani är ett av huvudproblemen med domänorienterad design fördubblingen av ansträngningar och färdigheter som behövs för att underhålla datapipelines och infrastrukturer i varje domän. För att ta itu med detta hämtar och extraherar Data Mesh domän- agnostiska datainfrastrukturfunktioner till en central plattform som hanterar datapipelinemotorer, lagring och streaminginfrastruktur. Samtidigt är varje domän ansvarig för att utnyttja dessa komponenter för att köra anpassade ETL- pipelines vilket ger dem det stöd som krävs för att enkelt kunna betjäna deras data samt den autonomi som krävs för att verkligen äga processen.