Data Solutions

Als Disziplin der Informatik befasst sich Data Engineering mit dem Erfassen von Rohdaten und ihrer Aufbereitung, Umwandlung und Transformation in unternehmensrelevante Formate und Aggregationsebenen. Hierfür werden große Menge an strukturierten und unstrukturierten Daten erfasst und verarbeitet, in Data Lakes gespeichert und in Data Warehouses und BI-Systemen zur Nutzung für Datenanalysten und Data Scientists bereitgestellt.

Das Nutzen von vorhandenen Daten und Entwickeln von benutzerdefinierten Modelle, um Vorhersagen und umsetzbare Erkenntnisse zu liefern.

Ein Data Lake ist der zentrale Speicherort für sämtliche strukturierten und unstrukturierten Daten. Dieser ermöglicht das direkte Ausführen von Analysen und die Nutzung von Dashboards und Visualisierungen. Ein Data Lake bildet damit die Grundlage für viele Big-Data-Anwendungen und den Einsatz von Machine-Learning-Algorithmen.

Nutzt Datenbank-Technologien zur Speicherung aufbereiteter, strukturierter Daten aus verschiedenen Drittsystemen. Es dient als Basis für Business-Analysen und Reportings für bestimmte Anwendungsfälle.

Von Big Data spricht man, wenn die Anforderungen an die Datenverarbeitung mit althergebrachten Methoden nicht mehr geleistet werden kann. Gründe hierfür sind oft die schiere Menge an Daten, die Geschwindigkeit ihres Eintreffens und deren Komplexität.

Beschreibt Methoden und Werkzeuge zur Verarbeitung von Ereignissen. Diese treten in der Regel in Datenströmen auf und lassen sich mitunter zu Ereignissen höherer Ordnung kombinieren. Die Analyse von Ereignissen in Echtzeit stellt oft hohe Anforderung an die verarbeitenden Systeme.

Ist ein ständiger Fluss an Daten, welcher mit einer Zeitkomponente verarbeitet wird. Der Datenfluss kann geteilt oder zwischenverarbeitet werden. Auch Echtzeitdarstellungen sind möglich.

Ist ein Spaltenbasiertes Datenbank-Management-System (DBMS) zur Handhabung großer Datenmengen. Das System hinter Yandex Metrica (das russische Pendant zu Google Analytics) kann problemlos mit mehreren Hundert Terabyte an Daten umgehen. Es skaliert fast linear und erlaubt so Abfragen über Billionen von Zeilen. Des Weiteren verfolgt ClickHouse einen „polyglotten“ Einsatzzweck und bietet Konnektoren zu vielen verschiedenen anderen Systemen – zum Beispiel MySQL, PostgreSQL, Kafka und Amazon S3. Dies erspart den Aufwand, Konnektoren und Migrationsjobs selbst zu implementieren und zu warten.

Ist das am häufigsten verwendete Open-Source-DBMS – sozusagen die eine eierlegende Wollmilchsau. Es kann alle Aufgaben eines Datenbank-Management-Systems erfüllen und ist für Prototypen oder als Basis-DBMS für fast alle Anwendungsfälle nutzbar. Einfach zu lernen, schwer zu meistern, wenn es an komplexe Architekturen wie Replikationsinfrastrukturen, Hochverfügbarkeitslösungen und besondere Anforderungen wie der Bewältigung von Big-Data-Workloads in MySQL geht.