img_header_blog

    Conseil N°10 pour être un super Data Engineer

    [fa icon="calendar'] 29/05/20 11:11 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    Nous arrivons à la fin de cette série de “10 conseils pour être un super data engineer”, nous avons abordés ensemble différentes techniques afin de rendre vos traitements plus performants, efficaces et  scalables. Nous allons conclure avec “Everything as code” qui vous permettra de versionner vos traitements, les partager, les réutiliser et les affiner par le biais de la collaboration.

    Lire la suite [fa icon="long-arrow-right"]

    Le moteur de requêtes Apache Drill

    [fa icon="calendar'] 20/05/20 14:46 / par Catherine Verdier dans Actu Ysance, Data Services, Apache Drill, expert

    [fa icon="comment"] 0 Commentaires

    Apache Drill, qu’est-ce que c’est ?

    Apache Drill est un moteur de requêtes distribué avec lequel il est possible d’effectuer des requêtes SQL sur de multiples types de datasources (bases de données SQL ou NoSQL, fichiers Apache Parquet, fichiers CSV, JSON, … etc …)

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°9 pour être un super Data Engineer

    [fa icon="calendar'] 15/05/20 10:36 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    Les Traces vous aident à mieux comprendre l'état d’avancement de vos traitements. Continuons cet échange avec les traitements et regardons leur fonctionnement en profondeur afin de les rendre plus efficaces.

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°8 pour être un super Data Engineer

    [fa icon="calendar'] 30/04/20 13:49 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    Dans les articles précédents nous avons abordé différentes bonnes pratiques autour de la taille et du rôle des jobs, et de l’automatisation de l'exécution de vos jobs à l’aide d’un orchestrateur.  Et si vous laissiez vos jobs vous informer, à l’aide de traces, dans quelle étape du traitement sont-ils ?

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°7 pour être un super Data Engineer

    [fa icon="calendar'] 17/04/20 10:19 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    Les bonnes pratiques peuvent parfois nous échapper. Pensez à séparer la logique d’orchestration de la logique de traitement et gardez vos données en parfaite harmonie. Nous allons continuer avec un axe majeur pour une architecture data réussie et durable : la scalabilité.

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°6 pour être un super Data Engineer

    [fa icon="calendar'] 27/03/20 14:45 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    Qui ne cherche pas à gagner en efficacité ? Pour cela, pensez à découper systématiquement vos jobs en “petites” tailles et vous gagnerez en efficacité, en temps d'exécution et une facilité de maintenance. Nous allons donc continuer avec une autre bonne pratique qui est l’automatisation de l'exécution de nos jobs à l’aide d’un orchestrateur.

    Lire la suite [fa icon="long-arrow-right"]

    Une nouvelle page pour Ysance

    [fa icon="calendar'] 11/03/20 14:41 / par Laurent Letourmy dans Actu Ysance, Data Services, Life at Ysance, Data4Good

    [fa icon="comment"] 0 Commentaires

    Ysance écrit une nouvelle page dans son histoire en changeant aujourd’hui de plateforme de marque.

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°5 pour être un super Data Engineer

    [fa icon="calendar'] 21/02/20 10:29 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 1 Commentaire

    Le conseil précédent avait pour but de rappeler la responsabilité d’un job sur son propre environnement de travail, ce que l’on oublie assez facilement lorsqu’on code. Nous allons maintenant voir comment et pourquoi il faut découper ses traitements, simple, mais tellement évident et efficace en pratique.

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°4 pour être un super Data Engineer

    [fa icon="calendar'] 07/02/20 08:15 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    L’idempotence n’a plus secret pour vous, alors on continue ? Ce conseil peut-être vu comme un complément au conseil précédent. C’est une recommandation assez technique mais souvent oubliée lorsqu’on implémente “sur-son-environnement-et-que-tout-fonctionne”.

    Lire la suite [fa icon="long-arrow-right"]

    Conseil N°3 pour être un super Data Engineer

    [fa icon="calendar'] 25/01/20 09:39 / par Laurent Letourmy dans Actu Ysance, Data Services, Data Engineer

    [fa icon="comment"] 0 Commentaires

    Nous espérons que vous avez pu tirer parti du précédent conseil, et donc compris que le management de très grands volumes de données devait vous amener à revoir...

    Lire la suite [fa icon="long-arrow-right"]

    S'abonner au blog