Data Engineer : Rentrer dans le coeur de la donnée

Introduction 

Parfois qualifié « d’ingénieur Big Data », le Data engineer est le premier acteur du processus de traitement de la donnée. Son travail intervient en amont de celui du Data scientist, directement après que l’infrastructure technique ait été mise en œuvre par les architectes et les administrateurs.

Comme c’est un ingénieur, il conçoit et fabrique, mais dans un champ bien spécifique : celui de la donnée. Ainsi, son travail quotidien va consister à se connecter à plusieurs sources de données, croiser les données, effectuer des opérations de nettoyage de données, des filtres, gérer le stockage des données dans différentes bases de données, gérer diverses sortes de formats de données, et potentiellement produire des rapports croisés de ces données. Ses missions

  1. Développer et mettre en place les processus de collecte, d’organisation, de stockage et de modélisation des données. 
  2. Assurer l’accès aux différentes sources et données et veiller à leur qualité. 
  3. Mettre en production les modèles de prédiction créés par les data scientists

Ses compétences clés

  • Maîtriser les langages et outils de gestion de bases de données comme Java, Python, R, SQL, NoSQL, Hadoop
  • Comprendre et savoir appliquer les techniques de modélisation de données
  • Disposer de solides compétences en développement informatique et savoir coder proprement


Le salaire

Débutant 2-5 ans Expert (+5 ans)
38 000 - 50 000 50 000 - 60 000 60 000 - 85 000

Un data engineer inspirant

Un bon exemple de data engineer est Jeffrey Dean, surnommé Jeff Dean. Il a travaillé sur MapReduce, un système pour traiter des données à fort volume, beaucoup utilisé par les data engineer. Il a aussi travaillé sur d’autres systèmes connus de la communauté Data comme Bigtable, un service important de Google Cloud, ou encore Tensorflow, essentiel aujourd’hui en tant qu’outil de prédiction.

Plus d'articles du même genre ◆◆

Inscris-toi à notre newsletter

Je veux connaître l'actualité de l'école ◆◆

Nous avons bien reçu vos informations !
Vous voilà inscrit à notre newsletter !
Oops! Something went wrong while submitting the form.

Let's meet ◆◆

Tu veux en savoir plus sur ALBERT SCHOOL ? L'équipe est dispo pour répondre à toutes tes questions.