Data Engineer

Description du poste

Nous recherchons  un Data Engineer talentueux et passionné spécialisé dans la conception, la construction et  la gestion des infrastructures de données qui permettent de collecter, stocker et traiter de grandes quantités d'informations. Ce professionnel travaillera en étroite collaboration avec les Data Scientists et les analystes pour s'assurer que les données sont accessibles, fiables et prêtes à être analysées. Les principales tâches incluent la création de pipelines de données, l'optimisation des bases de données, l'intégration de sources de données variées et la mise en œuvre de solutions de traitement de données en temps réel.

Missions

En tant que Data Engineer, vous serez responsable de :

• Créer des systèmes robustes pour collecter, stocker et traiter des données à grande échelle.
• Mettre en place des pipelines de données pour intégrer des sources de données variées, en assurant la qualité et la cohérence des données.
• Améliorer les performances des bases de données et des systèmes de traitement de données pour garantir une accessibilité rapide et efficace.
• Travailler en étroite collaboration avec les Data Scientists, les analystes de données et d'autres parties prenantes pour comprendre les besoins en données et fournir des solutions adaptées.
• Assurer la sécurité, la confidentialité et la gouvernance des données, en respectant les réglementations en vigueur.
• Surveiller les systèmes de données en production et effectuer des mises à jour ou des corrections si nécessaire pour garantir leur bon fonctionnement.

Compétences 

Nous recherchons des candidats possédants :

• Une maîtrise de langages comme Python, Java, ou Scala pour le développement de pipelines de données.
• Une connaissance approfondie des systèmes de gestion de bases de données relationnelles (SQL) et non relationnelles (NoSQL).
• Des compétences dans la conception et l'implémentation de processus ETL pour le traitement des données.
• Une familiarité avec des outils et frameworks comme Hadoop, Spark, et Kafka pour le traitement de grandes quantités de données.
• Une expérience avec des services cloud tels qu'AWS, Google Cloud ou Azure pour le stockage et le traitement des données.
• Une capacité à concevoir des modèles de données efficaces et à structurer les données pour l'analyse.
• Une connaissance des concepts de data warehousing et des outils associés (comme Snowflake, Redshift, ou BigQuery).