Data Engineering im Klartext – Was machen eigentlich Data Engineers?

„Meine Arbeit beginnt mit der Überlegung, wer die Daten nutzen wird. Von da aus gehe ich zurück, um herauszufinden, welche Form die Daten haben müssen.“

So beschreibt Charlie Roadnight, Data Engineer bei Zühlke, seine Tätigkeit. Im Wesentlichen geht es dabei um den Aufbau und die Pflege von Datenökosystemen, aber die Aufgabe umfasst eine Vielzahl verschiedener Aspekte und ist vielschichtiger, als es von außen scheinen mag. Für diesen Beitrag haben wir mit drei Data Engineers von Zühlke gesprochen, um mehr über ihre Arbeit zu erfahren, was ihnen daran gefällt und wie Interessierte in diesen Beruf einsteigen können.

Was machen Data Engineers?

Unternehmen und Organisationen sammeln unablässig Daten – darüber, was Du kaufst, was Du auf einer Website anklickst und wie und wann Du eine bestimmte App nutzt. Aber das Erfassen von Daten ist nur der Anfang. Wenn diese Daten genutzt werden sollen, um neue Geschäftschancen zu ermitteln, müssen sie so gespeichert werden, dass ein gezielter Abruf und eine sinnvolle Analyse möglich sind. Genau hier kommen die Data Engineers ins Spiel. Sie sind darauf spezialisiert, Daten so zu konsolidieren, dass sie für ihren Zweck geeignet sind, oder wie Charlie es ausdrückt: „Daten von A nach B zu bringen und dabei zu gewährleisten, dass sie auf der anderen Seite nützlich sind.“

Bei Zühlke arbeiten die Data Engineers mit Menschen aus verschiedenen Bereichen im Team, von Software Engineers bis hin zu Business Analysts. Gemeinsam ermitteln sie, wie die Daten für ein bestimmtes Projekt erfasst und präsentiert werden müssen. Dann richten sie ein System ein, um die Daten von der Kundenseite zu extrahieren und dann so zu organisieren, dass damit gearbeitet werden kann. Data Engineers müssen verstehen, was die Daten aussagen und wie sie verwendet werden sollen. Deshalb arbeiten sie mit Sachverständigen und anderen technischen Fachleuten zusammen, um Probleme zu überwinden und die optimale Lösung für die jeweilige Aufgabe zu entwickeln.

Welche Skills braucht man, um Data Engineer zu werden?

Data Engineers müssen verschiedene Kompetenzen mitbringen – eine davon ist die Beherrschung von Programmiersprachen. Du musst in einer Sprache wie Python oder Java zu Hause sein und SQL verstehen, damit Du die eigentlichen Daten manipulieren kannst. Grundkenntnisse in Statistik sind ebenfalls wichtig. Du musst aber auch in der Lage sein, das Gesamtbild im Auge zu behalten. „Wenn wir die Daten bekommen, sind sie erst mal bedeutungslos“, erklärt Myriam Thursch, ebenfalls Data Engineer im Zühlke-Team. „Erst durch das, was wir mit ihnen anstellen, bekommen sie Relevanz für unsere Kolleginnen und Kollegen und den Kunden.“

Neben dem technischen Handwerkszeug wie Programmierung und Statistik brauchen Data Engineers eine ganze Reihe von Soft Skills. Vor allem Kommunikations- und Teamfähigkeit sind wichtig. Schließlich arbeitet man in dieser Funktion nur selten isoliert. „Man sitzt gar nicht so viel allein vor dem Computer und programmiert, wie viele vielleicht denken“, erklärt Charlie. „Du arbeitest vielmehr mit verschiedenen Leuten im Team, um gemeinsam zu einer Lösung zu kommen.“

Suleiman Deni meint, dass Data Engineers außer den genannten Soft Skills Stärken in der Recherche und Problemlösung haben sollten. „Anders als Software Engineering gibt es Data Engineering als Fachgebiet noch nicht seit 30 Jahren und wir müssen viele Dinge noch selbst herausfinden – du kannst nicht einfach ein Buch zur Hand nehmen und die Antwort nachschlagen“, erklärt er. Das meint auch Myriam, wenn sie davon spricht, dass Data Engineers flexibel sein müssen. Data Engineering ist nie statisch, denn Kunden- und Anwenderbedürfnisse ändern sich ständig. „Die Lösungen, die ich für dieses Projekt verwende, sind für das nächste vielleicht ungeeignet, und die Technologie schreitet so schnell voran, dass das, was ich jetzt tue, in ein paar Jahren schon wieder veraltet sein kann. Man muss sich deshalb auf dem Laufenden halten und neugierig bleiben, finde ich.“

Top-Tipps für angehende Data Engineers

Alle drei Teammitglieder meinen, dass man in das Berufsfeld erst einmal hineinschnuppern sollte. Charlie empfiehlt, sich selbst eine Herausforderung zu stellen, z. B. die Erstellung eines analysefähigen Datensatzes mithilfe einer Ressource wie die 'Machine Learning and Data Science community' Kaggle. Idealerweise suchst Du Dir Daten, die bereinigt und validiert werden müssen, sodass Du gleich auch diese Fähigkeiten trainieren kannst. „Wenn Du dabei herausfindest, was fehlt oder wie Du einfacher zum Ziel kommst, hast Du das Zeug zum Data Engineer“, erklärt er. Vor allem musst Du lernen, Dich im Umgang mit Daten wohlzufühlen. „Viele Leute flippen erst mal aus, wenn sie mit so enormen Datenmengen konfrontiert werden“, berichtet Myriam. „Das sieht aber schlimmer aus als es ist. Wenn man sich daran gewöhnt und lernt damit zu arbeiten, findet man Wege, ihnen einen Sinn zu geben. Genau das ist es, was mir Spaß macht“, sagt sie.

Auf die Frage, wie man am besten auf eine Karriere im Data Engineering hinarbeiten soll, meinen alle drei Zühlke-Teammitglieder, dass man Fähigkeiten zur Problemlösung und Zusammenarbeit genauso entwickeln muss wie fachliches Wissen. Suleiman bringt es folgendermaßen auf den Punkt: „Es ist ein Unterschied, ob man bestimmte technische Kompetenzen hat oder ein Data Engineer ist.“ Er rät dazu, sich zunächst mit den Grundlagen des Themas Daten zu befassen und erst nachrangig mit der Nutzung der Tools. Als Ausgangspunkt empfiehlt er, sich auf den Subreddits DataIsBeautiful und DataEngineering umzusehen oder sich Ressourcen wie den Data Engineering Podcast oder Analytics Engineering Podcast anzuhören

Fazit

Ein Stichwort, das im Gespräch mit Data Engineers immer wieder auftaucht, ist Problemlösung. Der Aufgabenbereich verlangt keine bestimmten Tools oder technischen Fähigkeiten, denn diese können sich im Laufe der Zeit immer wieder ändern. Das ist auch einer der Gründe, warum wir bei Zühlke 10 % unseres Umsatzes in die kontinuierliche Weiterbildung investieren – wir möchten, dass unsere Mitarbeitenden ihr Können während ihrer gesamten Laufbahn weiterentwickeln.

Im Arbeitsalltag sind die Data Engineers letztlich dafür zuständig, dass die richtigen Daten an der richtigen Stelle gespeichert und abrufbar sind, d. h. sie wandeln bedeutungslose Zeilen und Spalten von Zahlen in etwas um, aus dem andere Erkenntnisse ziehen, die sie in ihren Projekten und Produkten verwenden können. Auf diese Weise erreichen die Zühlke-Teams erstaunliche Leistungen für Kunden und Endanwender.

Wenn die Problemlösung, wie unsere Data Engineers sie beschrieben haben, Dich interessiert, sieh Dir unsere offenen Stellen an und finde heraus, ob Du zu Zühlke passt.

Zusammenfassend: Data Engineering in Kürze

• Data Engineers haben die Aufgabe, Daten zu organisieren und sie einem größeren Team zugänglich zu machen, dem auch Data Scientists und Business Analysts angehören.
• Voraussetzung sind sowohl technische Kenntnisse als auch analytische Fähigkeiten, um Probleme lösen und innovative Lösungen für die Datenorganisation finden zu können.
• Um herauszufinden, ob eine Karriere im Data Engineering das Richtige für Dich ist, solltest Du praktische Erfahrung sammeln, indem Du selbst Datenprojekte ausprobierst und Dich mit Data-Engineering-Communities im Internet vernetzt.