Snablar!

big data Data science ibm gpt chatbot

Det har varit glödhet sommar på Big Data sidan och alla projekt går med en svindlande fart framåt. När man använder ny teknik som skall implementeras är det som alltid viktigt att göra det rätt.

A och O är en god planering annars går det åt mycket tid till oförutsedda händelser.

 

 

En utmaning som vi på Middlecon jobbar mycket med är Data Ingestion. I ett av våra cases har vi 100 000 händelser i sekunden som skall tas hand om och då behövs en motorväg som är tillräckligt stor så att vi lyckas skriva allt data till ett Hadoop kluster.

Vissa av ovanstående händelser, närmare bestämt 30 000 av dem varje sekund, behöver skrivas till konsistent media synkront med det som händer i applikationen och det skall skrivas snabbt som attan.

Att få till dessa dataflöden på ett bra sätt är en riktig utmaning för våra Big Data konsulter.

 

Några tips från oss:

Skapa så mycket strömmande datalösningar direkt till Hadoop som möjligt, undvik batch

Ta bort onödigt (tex dubbletter) data innan det hamnar i Hadoop

Använd Data Governance, det ger stora fördelar

 

Vill du veta mera kan du titta på dessa länkar till bra lösningar för Data Ingestion

More recent from the same category

KONTAKT

Kontakta oss!

Vi ser fram emot att höra från dig och svara på eventuella frågor du kan ha. Vårt team av experter inom datahantering är redo att hjälpa dig att maximera ditt företags potential. Tveka inte att kontakta oss för att ta reda på mer om våra tjänster och hur vi kan hjälpa dig. Fyll i nedan så svarar vi dig så snart vi kan.

Share this post

Twitter
LinkedIn
Facebook