Data Engineer

Big Data InsiderBig Data in Wirtschaft und WissenschaftBI-SPEKTRUMData Mining and Knowledge DiscoveryInformatik AktuellInformatik-SpektrumIT-Business - Channel-Portal für IT und Cloud ComputingIT SpektrumiX - Magazin für professionelle InformationstechnikNetzwerk für die Digitale GesellschaftPlattform Lernende SystemeQuantentechnologien. Rahmenprogramm der BundesregierungSustainable Computing. Informatics and Systems

AIOps: Künstliche Intelligenz für den IT-BetriebAIOps (Artificial Intelligence for IT Operations) verbindet separate IT-Tools mithilfe von Künstlicher Intelligenz (KI) zu einer automatisierten IT-Betriebsplattform. Machine Learning und Big Data automatisieren und optimieren die Überwachung von IT-Infrastrukturen. Echtzeit-Datenanalysen identifizieren, überprüfen und beheben Probleme und Störungsfälle automatisch. AIOps-Plattformen entlasten dadurch IT-Personal und überwachen Systeme rund um die Uhr. Fach- und Führungskräfte in der IT-Administration werden sich zukünftig mit AIOps-Technologien auseinandersetzen und den IT-Betrieb mithilfe von Künstlicher Intelligenz optimieren.Edge Computing: Dezentrale Datenverarbeitung am NetzwerkrandAnwendungen für Industrie 4.0, Smart Cities und das Internet of Things erzeugen riesige Mengen an Sensor- und Gerätedaten, die Unternehmen nahezu in Echtzeit verarbeiten. Bei zentraler Datenverarbeitung schicken die Geräte ihre Daten an eine Cloud und empfangen die Ergebnisse zurück. Dabei verlieren sie Zeit und teilweise auch Informationen. Beim Edge Computing speichern, verarbeiten und analysieren die Systeme die Maschinen- und Sensordaten direkt vor Ort – in der Produktionshalle, im autonomen Fahrzeug oder auf dem Containerschiff. So reagieren KI-basierte Geräte und Maschinen ohne Verzögerung. Fach- und Führungskräfte der Informationstechnik bereiten sich darauf vor, künftig immer mehr Lösungen auf Basis von Edge Computing zu entwickeln.Infor...

Data Engineers arbeiten meistin Büroräumenin BesprechungsräumenSie arbeiten ggf. auchin IT-Laborsbei Kunden/Kundinnenim Homeoffice bzw. mobil

Kernkompetenzen, die in diesem Beruf grundsätzlich erforderlich sind:Data EngineeringData LakeData ScienceData StreamingData WarehouseDatenarchitekturDatenbankadministration, -management, -organisationDatenbankentwicklungDatenmodellierungDatenschutzDatenübernahme, DatenaufbereitungInternet-, IntranettechnikKontinuierliche IntegrationMathematikProgrammierenRecherche, InformationsbeschaffungSicherheitssysteme (IT), DatensicherheitSoftwaretechnik, Software-EngineeringSystembetreuung, Systemadministration, SystemverwaltungSystemintegrationSystemsoftware (Entwicklung, Programmierung, Analyse)WirtschaftsinformatikWeitere Kompetenzen, die für die Ausübung dieses Berufs bedeutsam sein können:AlgorithmenAnwenderberatung, Anwender-Support (IT)BlockchainBusiness Intelligence - BICI/CD-PipelinesCloud ComputingData FabricData GovernanceData MeshDatenanalyseDatenvisualisierungDevOps-ToolsInformations- und KommunikationsmanagementIT-KoordinationIT-OrganisationKI-gestütztes WissensmanagementMachine LearningMaschinendatenerfassung - MDEMethodenentwicklungModellbildung, Simulation (IT)Patch-ManagementQuantitative ForschungsmethodeRobotic Process Automation - RPAStatistikWeitere relevante Fertigkeiten und Kenntnisse:Kompetenzgruppe "Datenbanken, Datenverwaltungssysteme"Kompetenzgruppe "Programmiersprachen, Programmbibliotheken, Entwicklungsumgebungen"

Data Engineers sind für alle Prozesse der Datenbeschaffung und -bereitstellung verantwortlich. Sie arbeiten eng mit anderen Fachkräften aus dem Informationsmanagement zusammen, insbesondere bei der Datenauswahl mit Data Scientists. Planung, Programmierung und Umsetzung von digitalen Infrastrukturen erfordern eine systematische und exakte Arbeitsweise, technisches und mathematisches Verständnis sowie analytisches Denkvermögen. Insbesondere in international agierenden Unternehmen sind Englischkenntnisse unentbehrlich. Ihre Kenntnisse über Datenpipelines und -plattformen halten Data Engineers stets aktuell.Überwiegend arbeiten sie im Büro, wo sie am Computer z.B. Datensätze bereinigen, strukturieren und formatieren. Auch unter Zeitdruck arbeiten sie stets konzentriert, da von ihren Datenzusammenführungen Geschäftsentscheidungen abhängen können.

Data Engineers können sich selbstständig machen, z.B. mit einen Betrieb im Bereich Datenbankentwicklung oder als freiberufliche Berater bzw. Beraterinnen im Bereich Datenintegration.

Beispielhafte tarifliche Bruttogrundvergütung im Bereich der gewerblichen Wirtschaft (monatlich): 6.378 € bis 6.650 €Quelle:Tarifsammlung des Bayerischen Staatsministeriums für Familie, Arbeit und SozialesHinweis: Diese Angaben dienen der Orientierung. Ansprüche können daraus nicht abgeleitet werden.

IT, Software, TelekommunikationManagement, Beratung, Recht, SteuernChemie, Pharmazie, KunststoffElektrotechnik, ElektronikEnergie, Ver- und EntsorgungFahrzeugbau, -instandhaltungFinanzdienstleistungen, ImmobilienGesundheit, SozialesHandelMedienMetall, Maschinenbau, Feinmechanik, OptikÖffentliche Verwaltung, Sozialversicherung, VerteidigungTransport, VerkehrWissenschaft, Forschung, Entwicklung

Arbeitgebende erwarten häufig ein Studium in den Bereichen Informatik, Mathematik oder Datenwissenschaft.

Wirtschaftsinformatik (grundständig)Wirtschaftsinformatik (weiterführend)Finanz-, Wirtschaftsmathematik (grundständig)Finanz-, Wirtschaftsmathematik (weiterführend)Mathematik (grundständig)Mathematik (weiterführend)Informatik (grundständig)Informatik (weiterführend)Datenwissenschaft, Data Science (grundständig)Datenwissenschaft, Data Science (weiterführend)Computermathematik (grundständig)Computermathematik (weiterführend)

Data Engineers finden Beschäftigungbei Software-Herstellungsunternehmen und IT-Dienstleistungsfirmenin Betrieben nahezu aller Wirtschaftsbereiche, in denen große Datenbestände verarbeitet werden in der öffentlichen Verwaltung

Data EngineerAuch übliche Berufsbezeichnung/SynonymDateningenieur/in

Data Engineers errichten Datenplattformen und bauen sogenannte Datenpipelines auf, mit denen sie große Datenmengen aus verschiedenen Quellen erfassen, in geeignete Formate umwandeln und für die Weiterverarbeitung und Analyse abspeichern.

Computerwoche.deget in {IT}golemheise jobsictjob.deinformatik-personal.deitjobs.rocksIT-Positionen.deitstepsIT-Treffjob-boxProgrammierer-Jobboerse.det3n.de

Bundesverb. Informationswirt., Telekommunikation und neue Medien e.V. (Bitkom)CEPIS - Council of European Professional Informatics SocietiesDeutsche Gesellschaft für Information und Wissen e.V. (DGI)Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAISGesellschaft für Informatik e.V. (GI)Gesellschaft zur Förderung angewandter Informatik e.V. (GFaI)Gewerkschaft Erziehung und Wissenschaft (GEW)

Bildschirmarbeit (z.B. Daten bereinigen, strukturieren und formatieren; Datenströme automatisieren)Arbeit mit technischen Geräten, Maschinen und Anlagen (z.B. Hardwarestruktur von Datensystemen aufbauen; Datenströme aus Maschinen und Anlagen abgreifen)Arbeit in Büroräumen (z.B. mit Data Scientists Datenauswahl- und -bereitstellungsprozesse abstimmen)

Daten und Unterlagen, z.B.: Analysedaten, Entwicklungskonzepte, Testprotokolle, Hard- und Softwaredokumentationen, IT-Vorschriften, SicherheitsrichtlinienDatenverwaltungssysteme, z.B.: Datenplattformen, Datenbanken bzw. Data-Warehouse-SystemeComputertechnik und Software, z.B.: Entwicklersoftware, Programmiersprachen, Systemumgebungen, Hard- und Softwarekomponenten, Cloud-InfrastrukturenBüroausstattung, z.B.: PC, Internetzugang, Telefon

Data Engineers erstellen Konzepte für die Datenbeschaffung und -bereitstellung und bauen die Hardware- und Software-Infrastruktur für deren Umsetzung auf. Sie errichten Datenplattformen und automatisieren die Datenübertragung und -transformation mit sogenannten Datenpipelines. Mithilfe der Datenpipelines extrahieren sie Daten aus verschiedenen Quellen und speichern sie in der Zieldatenbank ab. Auf diese Weise führen Data Engineers verschiedenste Daten beispielsweise aus CRM-, ERP- oder IoT-Systemen zusammen und machen sie für die Weiterverarbeitung und Analyse nutzbar. Data Engineers programmieren spezifische Tools, z.B. für die Erstellung von Berichten und definieren Richtlinien für die Datenmodellierung und -dokumentation. In größeren Betrieben arbeiten Data Engineers eng mit Data Scientists zusammen und stimmen mit ihnen die Prozesse zur Datenauswahl und Datenbereitstellung ab.

Anpassungsweiterbildung hilft, das berufliche Wissen aktuell zu halten und an neue Entwicklungen anzupassen (z.B. in den Bereichen Datenbankentwicklung und -programmierung, IT-Projektmanagement, IT-Sicherheit oder Informations- und Wissensmanagement).Darüber hinaus kann sich der Trend, den Herausforderungen der Umsetzung von Industrie 4.0 zu begegnen, zu einem wichtigen Weiterbildungsthema für Data Engineers entwickeln. Technologien in Bereichen wie AIOps oder Edge Computing bieten ebenso Weiterbildungspotenzial.

Weitere Berufs- und Karrierechancen eröffnen sich - je nach Vorbildung - durch ein weiterführendes Studium (z.B. im Studienfach Wirtschaftsinformatik oder Mathematik).Eine Promotion ist in der Regel für eine wissenschaftliche Laufbahn an der Hochschule erforderlich, für die Berufung zum Hochschulprofessor bzw. zur Hochschulprofessorin benötigt man in der Regel eine Habilitation. Die Promotion erleichtert ggf. auch in der Privatwirtschaft, im Bereich der Forschung und in der öffentlichen Verwaltung den Zugang zu gehobenen beruflichen Positionen.

Konzepte für die Datenbeschaffung und -bereitstellung erstellen und umsetzenHardware- und Software-Infrastruktur zum Sammeln und Verwalten von Daten aufbauenDatenquellen erschließen, z.B. CRM-, ERP- und IoT-Systeme, BuchhaltungssoftwareDatenplattformen errichten und für deren stabilen Betrieb sorgen, Kennzahlen zu Performance und Datenvolumen überwachenDatentransfer- und Datentransformationsprozesse mit Datenpipelines automatisieren, dabei auf Datensicherheit und Datenschutz achtenDaten aus verschiedenen Quellen extrahierenDatensätze bereinigen, strukturieren und formatieren, um sie für die Analyse oder Weiterverarbeitung nutzbar zu machenDaten in der Zieldatenbank speichern, z.B. in einem Data WarehouseDatenpipelines testen und optimierenTools zum Anzeigen von Daten, für die Erstellung von Berichten oder Visualisierungen programmieren und implementierenRichtlinien und Standards für die Datenmodellierung sowie die Dokumentation von Datenmodellen definierenggf. Datenauswahl- und Datenbereitstellungsprozesse mit Data Scientists abstimmensich über die neuesten Trends und Technologien aus dem Cloud- und Software-Engineering-Umfeld auf dem aktuellen Stand halten

Im Folgenden werden Berufe oder Tätigkeiten genannt, die Ähnlichkeiten zum Ausgangsberuf aufweisen. Diese Berufe stellen für Bewerber eine mögliche Alternative dar. Darüber hinaus können Arbeitgeber Kräfte dieser Berufe als Alternativen für die Besetzung einer Arbeitsstelle im Ausgangsberuf in Betracht ziehen.Manche Alternativberufe umfassen nur Teiltätigkeiten des Ausgangsberufs, andere erfordern eine Einarbeitungszeit, die im Einzelfall unterschiedlich lang sein kann.Folgende unmittelbare Beschäftigungs- und Besetzungsalternativen bieten sich für den Beruf Data Engineer an:Job- und Besetzungsalternativenfür die Gesamttätigkeit (i.d.R. kurze Einarbeitung):Data Scientistfür Teiltätigkeiten und berufliche Einsatzmöglichkeiten (mit/ohne Einarbeitung):Data-ConsultantData-Warehouse-Analyst/Data-Warehouse-AnalystinSoftwareentwickler/Softwareentwicklerinin angrenzenden Berufen:Cloud-ArchitectDevOps EngineerGeprüfter IT-Entwickler/Geprüfte IT-Entwicklerin (Weiterbildung/Ausbildung)KI-EngineerMachine Learning Engineermit niedrigerem Qualifikationsniveau:Geprüfter Berufsspezialist für Datenanalyse/Geprüfte Berufsspezialistin für DatenanalyseEine Aufstellung aller möglichen Verwandtschaftsstufen findet man hier:Erläuterungen zu den einzelnen Verwandtschaftsstufen