496 Jobs für Big Data in Deutschland

Positium produces impactful statistics that are effective and easy to use for decision-makers around the world. We believe that through better-informed decisions we can do our bit to improve societies around the world.

As Big Data Engineer at Positium, you will be at the forefront of designing and optimising robust data pipelines that process vast datasets from mobile positioning data sources. You will work with cutting-edge big data technologies, contribute to the architecture of scalable cloud-based systems, and streamline data integration processes. Join our expert team in developing efficient, high-performing solutions that drive meaningful insights for our global clients.

• Design, build, and optimise data pipelines using big data technologies to efficiently process and integrate large datasets from mobile positioning data sources.
• Collaborate in the design and implementation of relational database schemas and ensure effective data storage and retrieval practices.
• Deploy and manage data solutions on major cloud platforms to enhance scalability and accessibility of data resources.
• Use command-line tools and shell scripting (e.g., bash, Python) to automate data processing tasks and improve operational efficiency.
• Stay up-to-date with the latest advancements in data engineering and big data technologies and be ready to share knowledge with colleagues.

• BSc/MSc in Computer Science or MSc in Data Science.
• At least two years of work experience as a Data Engineer or similar.
• Proficiency in programming : working proficiency in Python and SQL. Familiarity with JavaScript for data visualisation is also beneficial.
• Databases : working experience with relational databases (preferably PostgreSQL) and familiarity with designing data models.
• Big data technologies and engineering : experience with Apache Spark for large-scale data processing, familiarity with Hadoop ecosystem and distributed storage solutions (e.g. S3, Azure Blob Storage, MinIO). Experience in designing, building, and managing data pipelines. Experience in working with APIs for data sourcing, integration and delivery.
• Cloud platforms : familiarity with major cloud providers and services (AWS, Azure, Google Cloud); work experience with at least one of them is a plus.
• Unix/Linux systems : proficient with Unix/Linux command-line tools and shell scripting (e.g. bash). Experience with system administration and automation tasks.
• Containerisation and orchestration : experience with Docker; experience with Kubernetes is a plus.
• Software development practices : familiarity with object-oriented programming (OOP), design patterns, clean code practices, and testing frameworks (e.g., pytest, unittest). Experience using Git for version control and collaboration on platforms like GitHub and GitLab, including code reviews and refactoring.
• Agile methodologies : understanding of software development life cycles and agile methodologies.
• Being a team player with great communication skills.
• Good speaking and writing skills in English .
• We expect the candidate to be located in Estonia and have a right to work here .

Additional experience that would be beneficial:

• Geospatial database experience: proficiency with spatial extensions for relational databases (e.g. PostGIS, Oracle Spatial, DuckDB Spatial).
• Python geospatial libraries: familiarity with Python libraries for geospatial analysis, such as GeoPandas and Shapely.
• Geospatial data formats: experience handling various geospatial data formats, including GeoParquet, GeoJSON, Shapefiles, and raster data formats.
• Big geospatial data frameworks: familiarity with Apache Sedona.
• Understanding of geospatial concepts: knowledge of spatial reference systems, coordinate transformations, and familiarity with spatial analysis and GIS theory.

• Working in our HQ in Tartu with an amazing view of the city (working from home is also a possibility, depending on the nature of the projects).
• Flexible working hours – just make sure you are available to other team members and complete your tasks on time.
• Global reach – you get to be part of different client projects across the globe and a chance to travel.
• Support for your active life. Your wellbeing is important to us – we provide compensation for sporting activities and taking care of your mental health so that you can feel your best every day.
• Fun team – we enjoy each other’s company and organise regular social activities.

Positium is the only data analytics company in the world specialising in mobile positioning data for official statistics. Founded in 2003, we have nearly two decades of experience working with global clients and scientists alike. Positium develops cool GIS solutions, high-quality methodology, software and expertise to process MPD for insights on the spatio-temporal behaviour of human beings. At Positium you will be a part of a close group of industry experts who are determined to make a positive impact on the world.

If you share our passion, we invite you to apply to join Positium’s data-driven mission!

• Analyse von sehr großen und komplexen Datensätzen aus unterschiedlichen Quellen.
• Entwicklung und Implementierung von prädiktiven Modellen und Algorithmen des maschinellen Lernens.
• Datenvorverarbeitung, Feature Engineering und Modellvalidierung.
• Anwendung fortgeschrittener statistischer Verfahren und mathematischer Methoden.
• Aufbau und Optimierung von Datenpipelines für Big Data Umgebungen.
• Beratung von Fachabteilungen bei der Fragestellung und Interpretation von Datenanalysen.
• Erstellung von Dashboards und Reports zur Visualisierung von Geschäftskennzahlen.
• Evaluation und Auswahl geeigneter Tools und Technologien für Big Data Analytics.
• Enge Zusammenarbeit mit Data Engineers und Softwareentwicklern.
• Teilen von Wissen und Best Practices innerhalb des Data Science Teams.

• Masterabschluss oder Promotion in Informatik, Statistik, Mathematik, Physik oder einem vergleichbaren quantitativen Fach.
• Mehrjährige praktische Erfahrung als Data Scientist, idealerweise mit Fokus auf Big Data.
• Sehr gute Kenntnisse in Programmiersprachen wie Python oder R und deren Data Science Libraries (z.B. Pandas, NumPy, Scikit-learn).
• Erfahrung mit Big Data Technologien wie Spark, Hadoop, Hive und Cloud-Plattformen (AWS, Azure, GCP).
• Fundierte Kenntnisse in Machine Learning Algorithmen und deren praktischer Anwendung.
• Erfahrung mit SQL und NoSQL Datenbanken.
• Fähigkeit, komplexe Geschäftsprobleme in datengesteuerte Lösungen zu übersetzen.
• Ausgeprägte analytische Fähigkeiten und eine strukturierte Arbeitsweise.
• Sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch, um technische Konzepte verständlich zu vermitteln.

• Unterstützung bei der Sammlung, Aufbereitung und Analyse von großen und komplexen Datensätzen.
• Erstellung von aussagekräftigen Datenvisualisierungen und Dashboards zur Darstellung von Trends und Mustern.
• Anwendung statistischer Methoden zur Auswertung von Daten.
• Identifizierung von Verbesserungspotenzialen in Datenprozessen und Analysemethoden.
• Mitarbeit an der Entwicklung und Pflege von Datenbanken und Datenmodellen.
• Zusammenarbeit mit Data Scientists und Business-Analysten zur Interpretation der Ergebnisse und zur Ableitung von Handlungsempfehlungen.
• Erstellung von Berichten und Präsentationen für verschiedene Stakeholder.
• Kontinuierliche Weiterbildung im Bereich Datenanalyse und verwandter Technologien.
• Dokumentation von Analyseverfahren und Ergebnissen.
• Sicherstellung der Datenqualität und -integrität.

• Abgeschlossenes Studium in Informatik, Statistik, Mathematik, Wirtschaftswissenschaften oder einem verwandten quantitativen Fachgebiet.
• Erste praktische Erfahrung in der Datenanalyse, idealerweise mit Fokus auf Big Data oder BI-Tools.
• Gute Kenntnisse in SQL zur Datenabfrage und -manipulation.
• Erfahrung mit Programmiersprachen wie Python oder R für Datenanalyseaufgaben ist ein Plus.
• Vertrautheit mit Datenvisualisierungs-Tools wie Tableau, Power BI oder Qlik Sense ist von Vorteil.
• Starke analytische Fähigkeiten und eine strukturierte, logische Denkweise.
• Die Fähigkeit, komplexe Daten verständlich aufzubereiten und zu kommunizieren.
• Hohe Lernbereitschaft und die Fähigkeit, sich schnell in neue Tools und Methoden einzuarbeiten.
• Eigeninitiative und die Fähigkeit, sowohl selbstständig als auch im Team zu arbeiten.
• Sehr gute Deutschkenntnisse sind erforderlich, Englischkenntnisse sind von Vorteil.

• Abgeschlossenes Masterstudium oder Promotion in Informatik, Statistik, Physik, Mathematik oder einem verwandten quantitativen Fachgebiet.
• Nachweisbare Erfahrung in der Big Data Analyse, Datenmodellierung und im Umgang mit großen Datensätzen.
• Sehr gute Kenntnisse in Programmiersprachen wie Python oder R und relevanter Bibliotheken (Pandas, NumPy, Scikit-learn etc.).
• Erfahrung mit Big Data-Technologien wie Spark, Hadoop oder ähnlichen Frameworks.
• Fundierte Kenntnisse in Machine Learning Algorithmen und deren Anwendung.
• Erfahrung in der Datenvisualisierung (z.B. mit Matplotlib, Seaborn, Tableau).
• Starke analytische Fähigkeiten und die Fähigkeit, komplexe Probleme zu lösen.
• Gute Deutsch- und Englischkenntnisse in Wort und Schrift.
• Fähigkeit zur eigenständigen Arbeit sowie zur effektiven Zusammenarbeit in einem Team.
• Interesse an aktuellen Forschungsthemen und der Bereitschaft, sich kontinuierlich weiterzubilden.

Olcya est un cabinet de niche spécialisé dans l'Hyper automatisation, soit l'agrégation des offres suivantes : Big Data, Cloud, DevOps, IA & RPA, APM et Agilité .

lusieurs clients grands compte nous font déjà confiance (BNPP, SG, Total, Crédit Agricole ).

Cela fait 7 ans que nous existons et beaucoup de nos consultants nous accompagnent depuis le début de l'aventure pour notre plus grande fierté !

Venir chez Olcya ne se fait pas par hasard car en plus d'une mission challengeante, vous y trouverez des responsabilités et la possibilité de devenir référent sur votre domaine d'intervention (sans compter les afterworks et un suivi de qualité).

Au sein d une équipe mature sur les sujets liés au Big Data, vous allez, avec d autres Olcyiens (Projet avec du BUILD et du RUN) :

• Administrer et monitorer les outils Big Data.
• Participer à l automatisation de l'infrastructure Bigdata (basée sur le logiciel de l éditeur Cloudera CDP 7.1) s appuyant sur TERRAFORM et ANSIBLE.
• Ajouter des extensions automatisées des clusters Bigdata (avec l ajout de nouveaux datanodes).
• Ajouter de nouvelles fonctionnalités automatisées (Hbase, Encryption).
• Assurer le maintien opérationnel du système (sécurisation des clusters, la mise en place d environnements de développement et de test, au support et à la résolution des problèmes N2 et N3).

Stack technique :

Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka, Pyspark, Hortonworks, Cloudera Data Platform (CDP/HDP).

Langage de programmation : Python, Scala.

Système : Linux, Windows.

Monitoring des clusters avec Ambari, Cloudera manager, MCS

Administration des clusters : droits d accès, Policy Ranger, création d environnements

Configuration et mise en place de la chaine CI/CD est un plus : Ansible, Jenkins, Docker, Terraform, Nexus

Forfait télétravail, excellente mutuelle (prise en charge à 80% par l’employeur), CSE, formations au sein de l’Olcya academy…

• Entwicklung, Validierung und Deployment von Machine Learning-Modellen und KI-Algorithmen.
• Analyse großer und komplexer Datensätze zur Identifizierung von Trends, Mustern und Einflussfaktoren.
• Datenaufbereitung, -bereinigung und Feature Engineering.
• Anwendung von statistischen Methoden und prädiktiven Modellierungstechniken.
• Kommunikation von komplexen Analyseergebnissen an technische und nicht-technische Stakeholder.
• Zusammenarbeit mit Data Engineers zur Implementierung skalierbarer Datenlösungen.
• Erforschung und Bewertung neuer Data Science-Technologien und -Methoden.
• Mentoring von Junior Data Scientists und Förderung des Wissensaustauschs im Team.
  Ihr Profil:
  
  • Abgeschlossenes Masterstudium oder Promotion in Informatik, Statistik, Mathematik, Physik oder einem verwandten quantitativen Fach.
  • Mehrjährige Berufserfahrung als Data Scientist mit nachweisbaren Erfolgen in KI und maschinellem Lernen.
  • Umfassende Kenntnisse in Python oder R sowie relevanter Bibliotheken (z.B. TensorFlow, PyTorch, Scikit-learn, Pandas).
  • Erfahrung mit Big-Data-Technologien (z.B. Spark, Hadoop) und Datenbanken (SQL, NoSQL).
  • Kenntnisse in Cloud-Plattformen (AWS, Azure, GCP) sind von Vorteil.
  • Starke analytische und mathematische Fähigkeiten.
  • Hervorragende Kommunikations- und Präsentationsfähigkeiten.
  • Fließende Deutsch- und Englischkenntnisse.
    
  Wir bieten Ihnen eine herausfordernde und abwechslungsreiche Tätigkeit mit der Möglichkeit, innovative KI-Lösungen zu entwickeln und einen signifikanten Einfluss auf den Geschäftserfolg zu nehmen. Wenn Sie Ihre Leidenschaft für Daten und KI in München einbringen möchten, freuen wir uns auf Ihre Bewerbung.

• Sammlung, Bereinigung und Analyse großer Datensätze aus verschiedenen Quellen (z.B. Sensordaten, Produktionsdaten, Qualitätsdaten).
• Entwicklung, Validierung und Implementierung von Machine Learning Modellen für Vorhersage, Klassifizierung und Anomalieerkennung.
• Anwendung von Techniken aus den Bereichen statistische Modellierung, Big Data Technologien (Hadoop, Spark) und Cloud-Plattformen.
• Visualisierung von komplexen Daten und Ergebnissen für technische und nicht-technische Stakeholder.
• Identifizierung neuer Anwendungsfälle für Data Science und Machine Learning zur Prozessoptimierung und Wertschöpfung.
• Zusammenarbeit mit Ingenieuren und Fachexperten, um Domänenwissen in die Modellentwicklung zu integrieren.
• Erstellung von Berichten und Präsentationen zur Dokumentation der Ergebnisse und zur Kommunikation von Handlungsempfehlungen.
• Kontinuierliche Recherche und Anwendung neuester Methoden und Algorithmen im Bereich Data Science und KI.
• Mitarbeit an der Entwicklung von Datenstrategien und der Verbesserung der Dateninfrastruktur.
• Qualitätssicherung und Monitoring von implementierten Machine Learning Modellen.

• Abgeschlossenes Studium der Informatik, Statistik, Mathematik, Physik oder eines verwandten quantitativen Fachs mit Schwerpunkt Data Science.
• Mindestens 3 Jahre Berufserfahrung in der Datenanalyse und im Machine Learning, idealerweise im industriellen Umfeld.
• Sehr gute Kenntnisse in Programmiersprachen wie Python oder R und relevanter Bibliotheken (z.B. Scikit-learn, TensorFlow, PyTorch).
• Erfahrung mit Big Data Technologien wie Spark, Hadoop, Hive oder ähnlichen Systemen.
• Kenntnisse in SQL und NoSQL-Datenbanken.
• Erfahrung mit Cloud-Plattformen (z.B. AWS, Azure) und deren Data-Science-Services ist von Vorteil.
• Fähigkeit, komplexe Probleme zu analysieren und kreative Lösungen zu entwickeln.
• Starke Kommunikationsfähigkeiten zur Vermittlung technischer Sachverhalte an unterschiedliche Zielgruppen.
• Fließende Deutsch- und gute Englischkenntnisse.

At The Stepstone Group, we have a simple yet very important mission: The right job for everyone. Using our data, platform, and technology, we create opportunities for job seekers and companies around the world to find a perfect match, in a fair and equitable way. With over 20 brands across 30+ countries, we strive for fair and unbiased hiring, and we are particularly focused on building a diverse, inclusive workforce.

At our Tech Hub, located near Wilanowska Metro, we are over 300 passionate and driven specialists who work on the development of our IT products. We are proud to be part of The Stepstone Group, a global leader in job-tech platforms and e-recruiting.

Join our team of 4,000+ employees and help us reshape the labour market. Together, we will create a future where everyone—regardless of background—has equal opportunities in the job market.