1.149 Jobs für Big Data in Deutschland
Data Engineer (Big Data & Analytics)
42103 Wuppertal, Nordrhein Westfalen
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Klient, ein führendes Unternehmen im Bereich Datenanalyse und Business Intelligence, sucht einen erfahrenen Data Engineer zur Verstärkung seines Teams am Standort **Wuppertal**. In dieser Rolle sind Sie maßgeblich am Aufbau und der Wartung unserer leistungsfähigen Dateninfrastrukturen beteiligt, die die Grundlage für unsere analytischen Lösungen bilden. Sie arbeiten eng mit Data Scientists, Business Analysts und anderen Stakeholdern zusammen, um sicherzustellen, dass Daten effizient gesammelt, transformiert und für Analyse- und Reportingzwecke bereitgestellt werden. Zu Ihren Hauptaufgaben gehört das Design, die Implementierung und die Optimierung von ETL/ELT-Prozessen, die Verwaltung von Data Warehouses und Data Lakes sowie die Sicherstellung der Datenqualität und -integrität. Sie sind verantwortlich für die Entwicklung und Wartung von Pipelines für Big Data-Verarbeitung, die Auswahl und Implementierung geeigneter Technologien und Werkzeuge sowie die Automatisierung von Datenflüssen. Die Arbeit mit verteilten Systemen und Cloud-Plattformen (z. B. AWS, Azure, GCP) ist ein wichtiger Bestandteil Ihrer Tätigkeit. Wir erwarten einen starken technischen Hintergrund mit mindestens 3 Jahren Berufserfahrung als Data Engineer. Fundierte Kenntnisse in SQL und Erfahrung mit mindestens einer gängigen Programmiersprache (z. B. Python, Scala, Java) sind unerlässlich. Erfahrung mit Big-Data-Technologien wie Spark, Hadoop, Kafka sowie Kenntnisse in Data-Warehouse-Konzepten und -Tools sind von großem Vorteil. Ein abgeschlossenes Studium in Informatik, Wirtschaftsinformatik, Ingenieurwesen oder einem verwandten quantitativen Fach wird vorausgesetzt. Sie verfügen über analytisches Denkvermögen, eine strukturierte Arbeitsweise und sind es gewohnt, sowohl eigenständig als auch im Team zu arbeiten. Die Bereitschaft, sich in neue Technologien einzuarbeiten und proaktiv Lösungen zu entwickeln, ist ebenfalls wichtig. Unser Klient bietet ein spannendes Arbeitsumfeld mit viel Raum für Eigeninitiative, attraktive Vergütung und Weiterbildungsmöglichkeiten.
Ihre Verantwortlichkeiten umfassen:
Ihre Verantwortlichkeiten umfassen:
- Design und Implementierung von Datenpipelines (ETL/ELT).
- Aufbau und Wartung von Data Warehouses und Data Lakes.
- Optimierung von Datenverarbeitungsprozessen für Big Data.
- Gewährleistung von Datenqualität und -konsistenz.
- Auswahl und Implementierung von Datenmanagement-Tools.
- Zusammenarbeit mit Data Scientists und Business Analysts.
- Dokumentation von Datenarchitekturen und -prozessen.
Leider ist dieser Job in Ihrer Region nicht verfügbar
0
Lead Data Engineer (Big Data)
45127 Essen, Nordrhein Westfalen
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Klient, ein innovatives Technologieunternehmen, sucht einen erfahrenen Lead Data Engineer (Big Data) zur Verstärkung seines globalen, vollständig remote agierenden Teams. Diese strategische Rolle ist ideal für talentierte Fachleute, die daran interessiert sind, die Zukunft der Dateninfrastruktur zu gestalten und skalierbare Big Data-Lösungen zu entwickeln. Sie werden maßgeblich an der Konzeption, dem Aufbau und der Optimierung unserer Datenplattform beteiligt sein und ein Team von Data Engineers leiten.
Als Lead Data Engineer sind Sie verantwortlich für die Entwicklung und Wartung robuster ETL/ELT-Pipelines, die Verarbeitung großer Datenmengen aus verschiedenen Quellen und die Sicherstellung der Datenqualität und -verfügbarkeit für analytische Zwecke. Sie arbeiten eng mit Data Scientists, Analysten und anderen technischen Teams zusammen, um deren Datenanforderungen zu verstehen und entsprechende Lösungen zu entwickeln. Die Architektur von Data Warehouses und Data Lakes, die Optimierung von Abfragen und die Implementierung von Data Governance-Praktiken gehören ebenfalls zu Ihrem Aufgabenspektrum.
Zu Ihren Hauptaufgaben gehört die technische Leitung und das Mentoring des Data Engineering-Teams. Sie definieren technische Standards und Best Practices für die Datenverarbeitung und -speicherung. Die Identifizierung und Bewertung neuer Technologien und Tools zur Verbesserung unserer Dateninfrastruktur ist ebenfalls ein wichtiger Bestandteil Ihrer Rolle. Sie stellen sicher, dass die von Ihnen entwickelten Lösungen skalierbar, zuverlässig und kosteneffizient sind. Die proaktive Fehlerbehebung und Leistungsoptimierung unserer Datenpipelines und -systeme sind ebenfalls Kernbestandteile Ihrer Verantwortung.
Wir suchen eine dynamische und technisch versierte Führungspersönlichkeit mit einer nachgewiesenen Erfolgsbilanz in der Leitung von Data Engineering-Teams und der Umsetzung von Big Data-Projekten. Hervorragende Kenntnisse in SQL und Programmiersprachen wie Python oder Scala sind unerlässlich. Erfahrung mit verteilten Systemen und Cloud-Plattformen (z.B. AWS, Azure, GCP) sowie mit Big Data-Technologien wie Spark, Hadoop, Kafka ist ein Muss. Starke analytische und Problemlösungsfähigkeiten, kombiniert mit einer lösungsorientierten Denkweise, sind entscheidend. Sie sollten in der Lage sein, technische Konzepte klar zu kommunizieren und sowohl technische als auch nicht-technische Stakeholder zu beeinflussen.
Diese Position bietet eine einzigartige Gelegenheit, in einem zukunftsorientierten Unternehmen zu arbeiten, das Wert auf Innovation und die Nutzung von Daten legt. Die vollständig remote Ausrichtung ermöglicht maximale Flexibilität und die Möglichkeit, ein globales Team von Talenten zu integrieren.
**Aufgaben:**
**Qualifikationen:**
Als Lead Data Engineer sind Sie verantwortlich für die Entwicklung und Wartung robuster ETL/ELT-Pipelines, die Verarbeitung großer Datenmengen aus verschiedenen Quellen und die Sicherstellung der Datenqualität und -verfügbarkeit für analytische Zwecke. Sie arbeiten eng mit Data Scientists, Analysten und anderen technischen Teams zusammen, um deren Datenanforderungen zu verstehen und entsprechende Lösungen zu entwickeln. Die Architektur von Data Warehouses und Data Lakes, die Optimierung von Abfragen und die Implementierung von Data Governance-Praktiken gehören ebenfalls zu Ihrem Aufgabenspektrum.
Zu Ihren Hauptaufgaben gehört die technische Leitung und das Mentoring des Data Engineering-Teams. Sie definieren technische Standards und Best Practices für die Datenverarbeitung und -speicherung. Die Identifizierung und Bewertung neuer Technologien und Tools zur Verbesserung unserer Dateninfrastruktur ist ebenfalls ein wichtiger Bestandteil Ihrer Rolle. Sie stellen sicher, dass die von Ihnen entwickelten Lösungen skalierbar, zuverlässig und kosteneffizient sind. Die proaktive Fehlerbehebung und Leistungsoptimierung unserer Datenpipelines und -systeme sind ebenfalls Kernbestandteile Ihrer Verantwortung.
Wir suchen eine dynamische und technisch versierte Führungspersönlichkeit mit einer nachgewiesenen Erfolgsbilanz in der Leitung von Data Engineering-Teams und der Umsetzung von Big Data-Projekten. Hervorragende Kenntnisse in SQL und Programmiersprachen wie Python oder Scala sind unerlässlich. Erfahrung mit verteilten Systemen und Cloud-Plattformen (z.B. AWS, Azure, GCP) sowie mit Big Data-Technologien wie Spark, Hadoop, Kafka ist ein Muss. Starke analytische und Problemlösungsfähigkeiten, kombiniert mit einer lösungsorientierten Denkweise, sind entscheidend. Sie sollten in der Lage sein, technische Konzepte klar zu kommunizieren und sowohl technische als auch nicht-technische Stakeholder zu beeinflussen.
Diese Position bietet eine einzigartige Gelegenheit, in einem zukunftsorientierten Unternehmen zu arbeiten, das Wert auf Innovation und die Nutzung von Daten legt. Die vollständig remote Ausrichtung ermöglicht maximale Flexibilität und die Möglichkeit, ein globales Team von Talenten zu integrieren.
**Aufgaben:**
- Technische Leitung und Mentoring eines Teams von Data Engineers.
- Konzeption, Entwicklung und Optimierung von Big Data-Pipelines (ETL/ELT).
- Aufbau und Wartung von Data Warehouses und Data Lakes.
- Sicherstellung von Datenqualität, -integrität und -verfügbarkeit.
- Zusammenarbeit mit Data Scientists und Analysten zur Erfüllung von Datenanforderungen.
- Evaluierung und Implementierung neuer Big Data-Technologien.
- Entwicklung und Durchsetzung von Data Governance-Praktiken.
- Leistungsoptimierung und Fehlerbehebung in Dateninfrastrukturen.
**Qualifikationen:**
- Abgeschlossenes Studium der Informatik, Statistik, Mathematik oder eines verwandten quantitativen Fachs.
- Mehrjährige Erfahrung im Data Engineering, mit nachgewiesener Erfahrung in der Leitung von Teams.
- Tiefgehende Kenntnisse in SQL und mindestens einer Programmiersprache (Python, Scala, Java).
- Umfassende Erfahrung mit Big Data-Technologien (Spark, Hadoop, Hive, Kafka).
- Praktische Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Daten-Services.
- Kenntnisse in Data-Warehousing-Konzepten und -Tools.
- Starke analytische und Problemlösungsfähigkeiten.
- Ausgezeichnete Kommunikations- und Führungsqualitäten.
- Erfahrung mit agilen Entwicklungsmethoden.
Leider ist dieser Job in Ihrer Region nicht verfügbar
1
Senior Data Engineer (Big Data)
68161 Mannheim, Baden Württemberg
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Klient, ein führendes Technologieunternehmen im Bereich der Datenanalyse und KI-gestützten Lösungen, sucht am Standort Mannheim einen erfahrenen Senior Data Engineer, der sich auf Big Data Technologien spezialisiert hat. Sie werden für den Aufbau, die Wartung und die Optimierung unserer skalierbaren Dateninfrastrukturen verantwortlich sein und somit eine zentrale Rolle bei der Bereitstellung von Daten für Analyse- und Machine-Learning-Anwendungen spielen.
Ihre Aufgaben:
Ihr Profil:
Diese Position ist eine remote-first-Stelle, d.h. Sie können vollständig ortsunabhängig arbeiten. Unser Klient in Mannheim bietet Ihnen die Chance, an spannenden und zukunftsweisenden Projekten mitzuwirken, ein innovatives Arbeitsumfeld, flexible Arbeitszeiten und eine wettbewerbsfähige Vergütung. Werden Sie Teil unseres engagierten Teams und gestalten Sie die Zukunft der Datenverarbeitung mit!
Ihre Aufgaben:
- Konzeption, Entwicklung und Implementierung von robusten und skalierbaren Big-Data-Pipelines für die Verarbeitung großer Datenmengen.
- Entwurf und Aufbau von Data Lakes und Data Warehouses unter Verwendung moderner Technologien.
- Optimierung von Datenflüssen und ETL/ELT-Prozessen zur Gewährleistung von Datenqualität und -verfügbarkeit.
- Arbeit mit verschiedenen Datenquellen (strukturiert, semi-strukturiert, unstrukturiert) und Technologien (z.B. Cloud-Plattformen, verteilte Dateisysteme, NoSQL-Datenbanken).
- Implementierung von Monitoring- und Alerting-Systemen für die Dateninfrastruktur.
- Sicherstellung der Sicherheit, Skalierbarkeit und Performance der Datenplattform.
- Enge Zusammenarbeit mit Data Scientists, Analysten und Softwareentwicklern, um deren Datenanforderungen zu erfüllen.
- Evaluierung und Einführung neuer Big-Data-Technologien und Tools.
- Automatisierung von Datenmanagement- und Bereitstellungsprozessen.
- Dokumentation der Datenarchitektur und der entwickelten Pipelines.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder eines verwandten technischen Fachs.
- Mehrjährige Berufserfahrung als Data Engineer mit nachweislicher Erfahrung im Umgang mit Big-Data-Technologien.
- Tiefgehende Kenntnisse in Cloud-Umgebungen wie AWS, Azure oder GCP und deren Daten-Services (z.B. S3, ADLS, GCS, Redshift, BigQuery, Databricks).
- Umfangreiche Erfahrung mit verteilten Datenverarbeitungssystemen wie Apache Spark, Hadoop und MapReduce.
- Sicherer Umgang mit SQL und NoSQL-Datenbanken.
- Programmierkenntnisse in Python, Scala oder Java.
- Erfahrung mit Datenmodellierungstechniken und ETL/ELT-Werkzeugen.
- Kenntnisse in Containerisierungstechnologien (Docker, Kubernetes) sind von Vorteil.
- Ausgeprägte Problemlösungsfähigkeiten, analytisches Denkvermögen und eine proaktive Arbeitsweise.
- Gute Kommunikationsfähigkeiten und die Fähigkeit, effektiv im Team zu arbeiten.
- Fließende Deutsch- und Englischkenntnisse.
Diese Position ist eine remote-first-Stelle, d.h. Sie können vollständig ortsunabhängig arbeiten. Unser Klient in Mannheim bietet Ihnen die Chance, an spannenden und zukunftsweisenden Projekten mitzuwirken, ein innovatives Arbeitsumfeld, flexible Arbeitszeiten und eine wettbewerbsfähige Vergütung. Werden Sie Teil unseres engagierten Teams und gestalten Sie die Zukunft der Datenverarbeitung mit!
Leider ist dieser Job in Ihrer Region nicht verfügbar
2
Lead Data Engineer - Big Data & Analytics
44141 North Rhine Westphalia, Nordrhein Westfalen
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Für unseren Kunden, ein führendes Unternehmen im E-Commerce und Social Media Sektor, suchen wir einen erfahrenen Lead Data Engineer (m/w/d). Diese Position ist vollständig remote zu besetzen und konzentriert sich auf den Aufbau und die Optimierung unserer Big Data-Infrastruktur, um datengesteuerte Entscheidungen zu ermöglichen. Sie sind verantwortlich für die Konzeption, Entwicklung und Wartung von ETL-Prozessen, Datenpipelines und Data Warehouses.
Ihre Hauptaufgaben:
Ihr Profil:
Wir bieten:
Eine strategische Rolle mit großem Einfluss auf die Datenstrategie des Unternehmens. Die Möglichkeit, mit modernsten Big Data Technologien zu arbeiten. Ein flexibles, vollständig remote Arbeitsmodell. Ein attraktives Gehaltspaket und umfangreiche Weiterbildungsmöglichkeiten. Ein dynamisches und kollaboratives virtuelles Team.
Ihre Hauptaufgaben:
- Design, Entwicklung und Implementierung skalierbarer Datenpipelines und ETL/ELT-Prozesse
- Aufbau und Verwaltung von Data Warehouses und Data Lakes
- Optimierung der Datenverarbeitung und -speicherung für große Datenmengen
- Sicherstellung der Datenqualität, Datenkonsistenz und Datenverfügbarkeit
- Entwicklung und Implementierung von Datenmodellierungsstrategien
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung von Daten für Analysen und Machine Learning Modelle
- Evaluierung und Implementierung neuer Big Data Technologien und Tools
- Technische Leitung und Mentoring eines Teams von Data Engineers
- Automatisierung von Datenprozessen und Monitoring der Infrastruktur
- Sicherstellung der Einhaltung von Datenschutzrichtlinien
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder einer vergleichbaren technischen Fachrichtung
- Mindestens 5 Jahre Berufserfahrung als Data Engineer, davon mindestens 2 Jahre in einer Lead-Funktion
- Fundierte Kenntnisse in Big Data Technologien (z.B. Spark, Hadoop, Kafka)
- Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Daten-Services
- Sehr gute Kenntnisse in SQL und NoSQL-Datenbanken
- Erfahrung mit Programmiersprachen wie Python, Scala oder Java
- Kenntnisse in Datenmodellierung und Data Warehousing Konzepten
- Erfahrung mit ETL-Tools und Orchestrierungswerkzeugen (z.B. Airflow)
- Ausgeprägte analytische und Problemlösungsfähigkeiten
- Starke Führungs- und Kommunikationsfähigkeiten
- Fließende Deutsch- und gute Englischkenntnisse
- Fähigkeit zur selbstständigen und strukturierten Arbeit im Homeoffice
Wir bieten:
Eine strategische Rolle mit großem Einfluss auf die Datenstrategie des Unternehmens. Die Möglichkeit, mit modernsten Big Data Technologien zu arbeiten. Ein flexibles, vollständig remote Arbeitsmodell. Ein attraktives Gehaltspaket und umfangreiche Weiterbildungsmöglichkeiten. Ein dynamisches und kollaboratives virtuelles Team.
Leider ist dieser Job in Ihrer Region nicht verfügbar
3
Senior Data Engineer (Big Data Architekt)
80331 Munich, Bayern
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Wir suchen einen erfahrenen Senior Data Engineer mit Schwerpunkt auf Big Data Architekturen, der unser wachsendes Data-Team verstärkt. Sie sind verantwortlich für das Design, die Entwicklung und die Optimierung unserer Dateninfrastruktur und -pipelines, um die zuverlässige und effiziente Verarbeitung großer Datenmengen zu gewährleisten. Diese Rolle erfordert tiefes technisches Know-how in Bereichen wie Datenmodellierung, ETL-Prozesse und Cloud-Technologien. Als integraler Bestandteil eines innovativen Unternehmens treiben Sie die Datenstrategie voran und ermöglichen es unseren Teams, datengesteuerte Entscheidungen zu treffen. Diese Position ist vollständig remote konzipiert, sodass Sie von Ihrem Heimatort aus arbeiten können und dennoch eine zentrale Rolle in unserer globalen Datenlandschaft spielen.
Ihre Aufgaben:
Ihre Aufgaben:
- Entwurf, Aufbau und Pflege robuster und skalierbarer Big-Data-Plattformen und Daten-Pipelines.
- Implementierung von ETL/ELT-Prozessen zur Datenintegration und -transformation.
- Optimierung der Dateninfrastruktur für Leistung, Kosten und Zuverlässigkeit.
- Sicherstellung der Datenqualität und Datenintegrität über verschiedene Systeme hinweg.
- Zusammenarbeit mit Data Scientists und Analysten, um deren Datenanforderungen zu verstehen und zu erfüllen.
- Auswahl und Implementierung geeigneter Big-Data-Technologien und -Tools (z.B. Hadoop-Ökosystem, Spark, Kafka).
- Entwicklung und Verwaltung von Cloud-basierten Datenlösungen (AWS, Azure, GCP).
- Automatisierung von Datenprozessen und Überwachung der Systemleistung.
- Erstellung und Pflege von technischer Dokumentation für Datenarchitekturen und -prozesse.
- Mentoring jüngerer Data Engineers und Förderung von Best Practices im Team.
- Abgeschlossenes Studium der Informatik, Ingenieurwissenschaften oder eines verwandten Fachgebiets.
- Mehrjährige Berufserfahrung als Data Engineer, mit starkem Fokus auf Big Data Architekturen.
- Umfassende Kenntnisse in Datenbanktechnologien (SQL, NoSQL) und Datenmodellierung.
- Praktische Erfahrung mit verteilten Systemen und Datenverarbeitungswerkzeugen wie Apache Spark, Hadoop, Kafka.
- Erfahrung im Aufbau und Betrieb von Datenlösungen in Cloud-Umgebungen (AWS, Azure oder GCP).
- Kenntnisse in mindestens einer Programmiersprache wie Python, Scala oder Java.
- Verständnis von Data Warehousing-Konzepten und BI-Tools.
- Ausgeprägte Problemlösungsfähigkeiten und die Fähigkeit, komplexe technische Herausforderungen zu meistern.
- Starke Kommunikationsfähigkeiten und die Fähigkeit, effektiv in einem Remote-Team zu arbeiten.
- Proaktive Einstellung und die Bereitschaft, kontinuierlich dazuzulernen.
Leider ist dieser Job in Ihrer Region nicht verfügbar
4
Lead Data Engineer - Big Data & Analytics
44791 Bochum, Nordrhein Westfalen
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Kunde ist ein zukunftsorientiertes Energieunternehmen, das Big-Data-Technologien nutzt, um seine Betriebsabläufe zu optimieren und neue Geschäftsmöglichkeiten zu erschließen. Wir suchen einen erfahrenen Lead Data Engineer, der unser Data-Science- und Analytics-Team verstärkt. In dieser Schlüsselrolle sind Sie verantwortlich für den Aufbau, die Wartung und die Optimierung unserer Big-Data-Infrastruktur. Sie entwerfen und implementieren skalierbare Datenpipelines, entwickeln ETL-Prozesse und stellen sicher, dass qualitativ hochwertige Daten für Analysezwecke verfügbar sind.
Sie arbeiten eng mit Data Scientists und Business Analysts zusammen, um deren Anforderungen an die Daten zu verstehen und entsprechende Lösungen zu entwickeln. Dies beinhaltet die Auswahl und Implementierung geeigneter Big-Data-Technologien und -Tools (z.B. Spark, Hadoop, Kafka), die Sicherstellung der Datenqualität und -sicherheit sowie die Optimierung der Performance von Datenabfragen und -verarbeitungen. Als Lead Data Engineer sind Sie auch für die Mentoring jüngerer Teammitglieder und die technische Leitung von Projekten zuständig.
Ihr Profil:
Sie arbeiten eng mit Data Scientists und Business Analysts zusammen, um deren Anforderungen an die Daten zu verstehen und entsprechende Lösungen zu entwickeln. Dies beinhaltet die Auswahl und Implementierung geeigneter Big-Data-Technologien und -Tools (z.B. Spark, Hadoop, Kafka), die Sicherstellung der Datenqualität und -sicherheit sowie die Optimierung der Performance von Datenabfragen und -verarbeitungen. Als Lead Data Engineer sind Sie auch für die Mentoring jüngerer Teammitglieder und die technische Leitung von Projekten zuständig.
Ihr Profil:
- Abgeschlossenes Studium in Informatik, Wirtschaftsinformatik, Ingenieurwesen oder einem verwandten quantitativen Fachgebiet.
- Mehrjährige Berufserfahrung als Data Engineer, mit nachweislicher Expertise in Big-Data-Technologien.
- Fundierte Kenntnisse in Programmiersprachen wie Python, Scala oder Java.
- Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Big-Data-Services.
- Kenntnisse in Datenbanktechnologien (SQL, NoSQL) und Data Warehousing-Konzepten.
- Erfahrung mit Streaming-Technologien (z.B. Kafka, Kinesis) und ETL/ELT-Tools.
- Starke Problemlösungsfähigkeiten und die Fähigkeit, komplexe technische Herausforderungen zu meistern.
- Gute Kommunikationsfähigkeiten in Deutsch und Englisch.
- Erfahrung in der Führung von kleinen Teams oder der technischen Leitung von Projekten.
Leider ist dieser Job in Ihrer Region nicht verfügbar
5
Senior Data Engineer (Big Data) - Remote
76133 Karlsruhe, Baden Württemberg
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Klient sucht einen erfahrenen Senior Data Engineer (m/w/d) mit Schwerpunkt auf Big Data Technologien für eine vollständig remote zu besetzende Position. In dieser Rolle sind Sie maßgeblich am Aufbau und der Wartung unserer skalierbaren Dateninfrastruktur beteiligt. Sie entwickeln und optimieren Datenpipelines, um große und komplexe Datensätze aus verschiedenen Quellen zu sammeln, zu transformieren und für Analysezwecke bereitzustellen. Sie arbeiten eng mit Data Scientists und Business Stakeholdern zusammen, um sicherzustellen, dass die Dateninfrastruktur den Anforderungen des Unternehmens gerecht wird.
Ihre Hauptaufgaben umfassen:
Ihre Hauptaufgaben umfassen:
- Entwurf, Aufbau und Wartung von robusten und skalierbaren Big-Data-Architekturen und Datenpipelines.
- Entwicklung von ETL/ELT-Prozessen zur Datenintegration und -transformation.
- Sicherstellung der Datenqualität, Datenkonsistenz und Datenverfügbarkeit.
- Optimierung der Performance von Datenverarbeitungssystemen und Datenbanken.
- Implementierung und Management von Data Lakes und Data Warehouses.
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung von Daten für analytische Zwecke.
- Automatisierung von Datenflüssen und Infrastrukturmanagement durch Skripte und Tools.
- Auswahl und Anwendung geeigneter Big-Data-Technologien (z.B. Spark, Hadoop, Kafka, Cloud-native Dienste).
- Gewährleistung der Datensicherheit und Einhaltung von Compliance-Richtlinien.
- Dokumentation der Dateninfrastruktur und -prozesse.
- Abgeschlossenes Studium der Informatik, Ingenieurwissenschaften oder eines verwandten quantitativen Fachs.
- Mindestens 5 Jahre Berufserfahrung als Data Engineer oder in einer vergleichbaren Rolle im Bereich Big Data.
- Fundierte Kenntnisse in der Entwicklung von Datenpipelines mit Technologien wie Apache Spark, Hadoop oder Kafka.
- Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Big-Data-Services.
- Starke Programmierkenntnisse, insbesondere in Python, Scala oder Java.
- Kenntnisse in SQL und NoSQL-Datenbanken.
- Erfahrung mit Data Warehousing-Konzepten und Tools.
- Verständnis von Datenmodellierung und Architekturen.
- Ausgeprägte Problemlösungsfähigkeiten und eine analytische Denkweise.
- Sehr gute Kommunikationsfähigkeiten und die Fähigkeit, effektiv im Team zu arbeiten.
- Fließende Deutsch- und Englischkenntnisse.
- Die Fähigkeit, selbstständig und proaktiv in einem Remote-Umfeld zu agieren.
Leider ist dieser Job in Ihrer Region nicht verfügbar
Seien Sie der Erste, der es erfährt
Über das Neueste Big data Jobs In Deutschland !
6
Senior Data Engineer - Cloud & Big Data
47051 Duisburg, Nordrhein Westfalen
WhatJobs
Vor 3 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser innovatives Technologieunternehmen mit einem globalen Kundenstamm sucht einen erfahrenen Senior Data Engineer zur Verstärkung unseres agilen Remote-Teams. Sie werden eine Schlüsselrolle im Aufbau und der Skalierung unserer modernen Dateninfrastruktur spielen, die auf Cloud-Technologien und Big-Data-Plattformen basiert. Ihre Expertise in der Konzeption, Implementierung und Wartung robuster, skalierbarer und hochverfügbarer Datenpipelines ist entscheidend für den Erfolg unserer datengesteuerten Produkte und Analysen. Diese Position bietet die einzigartige Möglichkeit, an komplexen Datenherausforderungen zu arbeiten und direkt Einfluss auf die technologische Ausrichtung unseres Unternehmens zu nehmen.
Verantwortlichkeiten:
Verantwortlichkeiten:
- Design, Entwicklung und Optimierung von skalierbaren und performanten ETL/ELT-Pipelines unter Verwendung von Cloud-Plattformen (AWS, Azure, GCP).
- Aufbau und Wartung von Data Lakes und Data Warehouses zur Unterstützung von Business Intelligence und Machine Learning Anwendungen.
- Implementierung von Datenqualitätsstandards und -prozessen, um die Genauigkeit und Konsistenz der Daten sicherzustellen.
- Arbeit mit Big-Data-Technologien wie Spark, Hadoop, Kafka und verteilten Datenbanken.
- Entwicklung und Pflege von Big-Data-Architekturen und Datenmodellen.
- Zusammenarbeit mit Data Scientists und Analytikern, um deren Datenanforderungen zu verstehen und zu erfüllen.
- Automatisierung von Datenprozessen und Infrastrukturmanagement durch Infrastructure as Code (IaC).
- Sicherstellung der Datensicherheit, des Datenschutzes und der Compliance in allen Datenprozessen.
- Performance-Tuning und Troubleshooting von Datenpipelines und Datenbanken.
- Bewertung und Einführung neuer Technologien und Werkzeuge im Big Data und Cloud-Umfeld.
- Dokumentation von Datenarchitekturen, Prozessen und Pipelines.
- Aktive Teilnahme an Code-Reviews und Förderung von Best Practices im Engineering-Team.
- Mentoring von Junior Data Engineers und Wissensaustausch im Team.
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Mathematik oder einer verwandten technischen Disziplin.
- Mindestens 5 Jahre Berufserfahrung im Bereich Data Engineering, insbesondere mit Cloud-Plattformen (AWS, Azure oder GCP).
- Fundierte Kenntnisse in Programmiersprachen wie Python, Scala oder Java.
- Umfangreiche Erfahrung mit SQL und NoSQL-Datenbanken.
- Praktische Erfahrung mit Big-Data-Frameworks (z.B. Apache Spark, Hadoop Ökosystem).
- Kenntnisse in Datenstreaming-Technologien wie Kafka oder Kinesis sind von Vorteil.
- Erfahrung mit Orchestrierungstools wie Airflow oder ähnlichen.
- Verständnis von Data Warehousing Konzepten und Data Modeling Techniken.
- Erfahrung mit Containerisierungstechnologien (Docker, Kubernetes) und IaC (Terraform) ist wünschenswert.
- Ausgeprägte analytische Fähigkeiten, Problemlösungskompetenz und eine proaktive Arbeitsweise.
- Sehr gute Kommunikationsfähigkeiten und die Fähigkeit, komplexe technische Konzepte verständlich zu erklären.
- Deutschkenntnisse sind von Vorteil, aber nicht zwingend erforderlich.
Leider ist dieser Job in Ihrer Region nicht verfügbar
7
Senior Data Engineer - Cloud & Big Data
40213 Düsseldorf, Nordrhein Westfalen
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Klient ist eine wegweisende Organisation im Sektor der öffentlichen Daseinsvorsorge, die sich der Verbesserung von städtischen Dienstleistungen durch den Einsatz von Daten und Technologie verschrieben hat. Wir suchen einen äußerst erfahrenen Senior Data Engineer, der maßgeblich am Aufbau und der Wartung unserer skalierbaren Dateninfrastruktur beteiligt sein wird. Diese Position ist vollständig remote, was Ihnen die Freiheit gibt, Ihre Arbeit optimal in Ihren Alltag zu integrieren, während Sie gleichzeitig eine Schlüsselrolle in einem zukunftsorientierten Projekt spielen. Ihre Hauptverantwortung liegt im Design, der Entwicklung und der Optimierung von Big Data-Plattformen und Cloud-basierten Lösungen. Sie arbeiten mit einer Vielzahl von Datenquellen und -formaten und stellen sicher, dass Daten effizient, zuverlässig und sicher verarbeitet und gespeichert werden. Zu Ihren Kernaufgaben gehören die Konzeption und Implementierung von ETL/ELT-Pipelines, die Auswahl und Integration geeigneter Big Data-Technologien (z.B. Hadoop, Spark, Kafka) sowie die Verwaltung und Überwachung von Cloud-Datenplattformen (z.B. AWS, Azure, GCP). Sie stellen die Datenqualität und -konsistenz sicher und arbeiten eng mit Data Scientists und Analysten zusammen, um deren Anforderungen an Datenzugriff und -analyse zu erfüllen. Die Automatisierung von Deployment- und Überwachungsprozessen (CI/CD) sowie die Gewährleistung von Datensicherheit und Compliance sind ebenfalls zentrale Aspekte Ihrer Tätigkeit. Sie sind ein Mentor für Junior-Entwickler und tragen zur Weiterentwicklung unserer technischen Standards bei. Der Einsatz von modernen Tools und Methoden zur Schaffung einer robusten und zukunftsfähigen Dateninfrastruktur ist Ihr oberstes Ziel.
Ihre Aufgaben:
Ihr Profil:
Nutzen Sie die Gelegenheit, Ihre Expertise in einem zukunftsorientierten, remote-first Umfeld einzusetzen und einen entscheidenden Beitrag zur Digitalisierung des öffentlichen Sektors zu leisten. Unser Klient in **Düsseldorf** freut sich auf Ihre Bewerbung!
Ihre Aufgaben:
- Entwurf, Aufbau und Wartung von skalierbaren Big Data-Plattformen und Cloud-basierten Datenspeicherlösungen.
- Entwicklung und Optimierung von ETL/ELT-Prozessen zur Datenintegration und -transformation.
- Auswahl, Implementierung und Verwaltung von Big Data-Technologien (z.B. Spark, Hadoop, Kafka, Airflow).
- Betrieb und Optimierung von Cloud-Datenplattformen (AWS, Azure oder GCP).
- Sicherstellung der Datenqualität, Datenintegrität und Datensicherheit.
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung von Daten für Analyse und Reporting.
- Implementierung von CI/CD-Pipelines für Dateninfrastruktur.
- Performance-Tuning von Datenverarbeitungs-Jobs und Datenbanken.
- Technische Führung und Mentoring für Junior Data Engineers.
- Dokumentation der Datenarchitektur und -prozesse.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Data Science oder eines verwandten technischen Feldes.
- Mindestens 5 Jahre Berufserfahrung als Data Engineer mit nachweislicher Expertise in Big Data-Technologien und Cloud-Plattformen.
- Umfassende Kenntnisse in mindestens einer der großen Cloud-Plattformen (AWS, Azure, GCP).
- Erfahrung mit verteilten Systemen und Big Data-Frameworks wie Spark, Hadoop, Hive, Kafka.
- Starke Programmierkenntnisse in Python, Scala oder Java.
- Erfahrung mit SQL und NoSQL-Datenbanken.
- Kenntnisse in der Erstellung und Verwaltung von ETL/ELT-Pipelines.
- Vertrautheit mit CI/CD-Praktiken und Tools (z.B. Docker, Kubernetes, Jenkins).
- Ausgeprägte Problemlösungsfähigkeiten und eine proaktive Arbeitsweise.
- Sehr gute Deutsch- und Englischkenntnisse.
Nutzen Sie die Gelegenheit, Ihre Expertise in einem zukunftsorientierten, remote-first Umfeld einzusetzen und einen entscheidenden Beitrag zur Digitalisierung des öffentlichen Sektors zu leisten. Unser Klient in **Düsseldorf** freut sich auf Ihre Bewerbung!
Leider ist dieser Job in Ihrer Region nicht verfügbar
8
Senior Data Engineer - Cloud & Big Data
45127 Essen, Nordrhein Westfalen
WhatJobs
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Unser Klient, eine renommierte gemeinnützige Organisation im Bereich der Bildungsförderung, sucht einen erfahrenen Senior Data Engineer (m/w/d) zur Stärkung seines Analytik-Teams. In dieser voll-remote Position sind Sie verantwortlich für den Aufbau, die Wartung und die Optimierung unserer Dateninfrastruktur und -pipelines. Sie stellen sicher, dass qualitativ hochwertige Daten für Analysen, Berichte und operative Entscheidungen verfügbar sind. Sie arbeiten mit modernen Cloud- und Big-Data-Technologien und tragen maßgeblich zur datengesteuerten Verbesserung unserer Förderprogramme bei. Ihre Hauptaufgaben umfassen:
Verantwortungsbereiche:
Qualifikationen:
Unser Klient bietet die einzigartige Möglichkeit, mit Daten einen positiven gesellschaftlichen Beitrag zu leisten, ein flexibles, voll-remote Arbeitsumfeld und die Arbeit mit zukunftsweisenden Technologien. Wenn Sie eine Leidenschaft für Daten haben und eine sinnstiftende Tätigkeit suchen, freuen wir uns auf Ihre Bewerbung.
Verantwortungsbereiche:
- Design, Entwicklung und Implementierung skalierbarer und robuster Datenpipelines für verschiedene Datenquellen (strukturiert und unstrukturiert).
- Aufbau und Verwaltung von Data Warehouses und Data Lakes in Cloud-Umgebungen (z.B. AWS, Azure, GCP).
- Optimierung von Datenflüssen und Datenbankabfragen zur Sicherstellung von Performance und Effizienz.
- Entwicklung und Implementierung von ETL/ELT-Prozessen.
- Sicherstellung der Datenqualität, Datenintegrität und Datensicherheit.
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung der benötigten Daten.
- Automatisierung von Datenprozessen und Monitoring der Systemperformance.
- Evaluierung und Einführung neuer Technologien und Tools im Big-Data-Bereich.
- Erstellung technischer Dokumentationen.
- Unterstützung bei der Datenmodellierung und der Entwicklung von Datenstrategien.
Qualifikationen:
- Abgeschlossenes Studium in Informatik, Wirtschaftsinformatik, Data Science oder einem verwandten technischen Feld.
- Mindestens 4 Jahre Berufserfahrung als Data Engineer oder in einer vergleichbaren Rolle mit Fokus auf Dateninfrastruktur und Big Data.
- Umfassende Erfahrung mit Cloud-Plattformen (AWS, Azure, oder GCP) und deren Daten-Services (z.B. S3, Redshift, BigQuery, ADLS).
- Fundierte Kenntnisse in SQL und Erfahrung mit NoSQL-Datenbanken.
- Programmierkenntnisse in Python oder Scala sind unerlässlich.
- Erfahrung mit Big-Data-Technologien wie Spark, Hadoop, Kafka.
- Kenntnisse in ETL/ELT-Tools und Datenmanagement-Prinzipien.
- Starke analytische Fähigkeiten und Problemlösungskompetenz.
- Selbstständige, strukturierte und ergebnisorientierte Arbeitsweise, ideal für Remote-Arbeit.
- Sehr gute Deutsch- und Englischkenntnisse.
Unser Klient bietet die einzigartige Möglichkeit, mit Daten einen positiven gesellschaftlichen Beitrag zu leisten, ein flexibles, voll-remote Arbeitsumfeld und die Arbeit mit zukunftsweisenden Technologien. Wenn Sie eine Leidenschaft für Daten haben und eine sinnstiftende Tätigkeit suchen, freuen wir uns auf Ihre Bewerbung.
Leider ist dieser Job in Ihrer Region nicht verfügbar
9