Saltmätargatan 8A, 113 59 Stockholm

+46 (0) 8 410 55 700 info@middlecon.se

Big Data erfarenheter

Vi har ju jobbat intensivt med Big Data i mer än ett år nu, och det är väl dags att summera lite av våra erfarenheter.

Kunder som har ökande datamängder har blivit tvungna att titta över sin arkitektur på grund av att traditionella databasservrarna inte har kapacitet för den nya lasten eller att kostnaden i den traditionella lösningen har blivit för hög.

Lösningen för dessa kunder har varit att bygga flera parallella system med olika kostnadsstrukturer så att man kan köra queries på den plattform som har rätt kostnadsstruktur. Valen har ofta varit enkla och kunderna har valt olika DW plattformerna som Netezza, Hadoop eller traditionella DB2 datawarehouse då dessa lösningar är väldefinierade och relativt enkla att sätta upp.

Den stora utmaningen har blivit att flytta data mellan de olika plattformerna på ett korrekt sätt eller tillräckligt snabbt. Det är här problematiken som är som störst.

Vilket data som skall flyttas, när skall data flyttas och behöver data göras om är viktiga frågor.

Här tycker vi att det kan vara bra med en portfölj av olika lösningar som täcker olika behov.

MQ – säker meddelandeöverföring, låg kostnad

Sterling – säker filöverföring

Datastage – säker ETL, konvertering av innehåll

Change data capture – blixtsnabb överföring, låga krav på bandbredd