img_header_blog

    Conseil N°10 pour être un super Data Engineer

    [fa icon="calendar"] 29/05/20 11:11 / par Laurent Letourmy

    2019-12-04-Conseil10-Data-Engineer

    Nous arrivons à la fin de cette série de “10 conseils pour être un super data engineer”, nous avons abordés ensemble différentes techniques afin de rendre vos traitements plus performants, efficaces et  scalables. Nous allons conclure avec “Everything as code” qui vous permettra de versionner vos traitements, les partager, les réutiliser et les affiner par le biais de la collaboration.

    Conseil N°10 : Everything as code : le code ne ment pas.

    Ce dernier conseil est une conviction personnelle. J’ai vu trop de développeurs se perdre avec :

    des outils graphiques qui offrent la promesse du moindre effort mais qui au final rendent le déploiement de jobs et de pipelines de données peu maîtrisé.

    des fichiers de configurations volumineux et/ou multiples où il est impossible d’avoir une vision d’ensemble du comportement prévu des traitements, tellement les informations sont dispersées. C’est ce qu’on peut appeler communément de la dentelle ou un plat de spaghettis, question de point de vue.

    l’impossibilité de réaliser des tests unitaires, l’outil fermant cette possibilité par sa nature “boîte noire” et auto-générant un code source inexploitable.

    Ce conseil n’est pas spécifique au développement de traitements de données et s’applique aussi au développement de n’importe quel type d’application. Cette idée facilite l’adhésion à l’approche devops qui a pour objectif d’être le plus efficace possible pour passer les étapes nécessaires du développement à la production (CI : Continuous Integration / CD : Continuous Deployment). Un job est une application comme une autre qui doit être validée par des tests unitaires, packagée et déployée sur un environnement de qualification, puis en production. Quoi de mieux que du code pour automatiser cette chaîne ?

     

    Conclusion:

    Nous avons la chance de participer au retour de la data au centre de la préoccupation de l'ingénierie informatique avec des défis sans cesse grandissants de volumétries et de performances. La complexité du domaine de la data nécessite forcément la spécialisation d’ingénieur de développement dans ce domaine. Il reposera sur eux de grandes responsabilités en organisant et en produisant de la valeur à partir de l’or noir du numérique qu’est la data.  J’espère que la lecture de ces conseils issus de mon expérience vous aura donné de bonnes directions ou, a minima, interrogé sur vos propres idées.

    ____________________________________________

    Pour relire le conseil N°9 c'est par ici

    Pour relire le conseil N°8 c'est par ici

    Pour relire le conseil N°7 c'est par ici

    Pour relire le conseil N°6 c'est par ici

    Pour relire le conseil N°5 c'est par ici

    Pour relire le conseil N°4 c'est par ici

    Pour relire le conseil N°3 c'est par ici

    Pour relire le conseil N°2 c'est par ici

    Pour relire le conseil N°1 c'est par ici

     

    Pour postuler directement et joindre notre équipe de Data Engineer, c'est par ici.

    Thèmes : Actu Ysance, Data Services, Data Engineer

    Laurent Letourmy

    Par Laurent Letourmy

    Ingénieur Epita, il a débuté sa carrière dans le groupe Cross Systems dont il a co-fondé la filiale parisienne en 1996. La société connaît une forte croissance et le groupe s'introduit sur le Nouveau Marché en 1999 et atteindra une capitalisation de 800M€. Spécialiste reconnu des architecture transactionnelles, il y exerce diverses responsabilités techniques, managériales et commerciales et travaille avec des clients tels que le Club Med, Voyages-Sncf.com, Orange. Entrepreneur passionné de technologies innovantes, vainqueur de deux hackathons dans la Silicon Valley, investisseur actif au sein de nombreux de nombreux projets pionniers B2B et B2C. En 2005, il co-fonde et dirige Ysance qui connaît un fort développement depuis ses débuts.

    S'abonner au blog