Après le Cloud et le Streaming de données, la grande nouveauté est certainement l’arrivée du concept de Data Mesh (nous trouvons ce mot trop élégant en anglais pour se risquer à le traduire).
On vit dans une ère où la génération massive de données par les SI est devenue la norme. Lorsqu’elles sont bien exploitées, ces données peuvent aider les entreprises à évoluer et optimiser l’expérience de leurs clients. Pour en tirer le maximum il faut bien savoir quel type de traitement à préconiser. Il doit être en mesure de garantir la complétude ainsi que la fiabilité de l’information tirée.
Image tirée de slon.pics Suite
Il a été rédigé par Micha Kunze qui nous a très aimablement autorisé à le traduire.
Cet article a été originellement publié ici : https://towardsdatascience.com/develop-your-data-as-a-product-f9ba268c4e20
Publication originale : 31 octobre 2020 · 7 min de lecture
Pratiques de Data Engineering
Mettre en œuvre des principes de Data-Mesh pour mettre à l'échelle la couche de données de votre organisation
De nombreuses entreprises investissent dans leur lac de données de nouvelle génération, dans l'espoir de démocratiser les données à grande échelle pour fournir des informations commerciales et, en fin de compte, prendre des décisions intelligentes automatisées. Les plateformes de données basées sur l'architecture du lac de données ont des modes de défaillance communs qui conduisent à des promesses non tenues à grande échelle. Pour faire face à ces modes de défaillance, nous devons passer du paradigme centralisé d'un lac ou de son entrepôt de données prédécesseur. Nous devons passer à un paradigme qui s'inspire de l'architecture distribuée moderne: considérer les domaines comme la préoccupation de premier ordre, appliquer la pensée de plate-forme pour créer une infrastructure de données en libre-service et traiter les données comme un produit.
Traduit depuis l’article : https://www.matillion.com/resources/blog/evolving-cloud-data-platform-opportunities-in-2021-the-lakehouse // Date de publication originale : 9 décembre 2020
La gestion des données cloud est à la hausse et les entreprises en prennent note. L'introduction en bourse de Snowflake à l'automne, ainsi que l' accélération de la compréhension des données en raison de la pandémie, ont augmenté la vitesse à laquelle les entreprises mettent en œuvre des stratégies de données cloud.
Traduit depuis l’article https://www.matillion.com/resources/blog/from-zero-to-mvp-7-tips-for-setting-up-an-mvp-in-the-cloud
Date de publication originale : 24 décembre 2020
Compte tenu du volume et de la complexité des données d'aujourd'hui, ainsi que de la vitesse et de l'échelle nécessaires pour les traiter, le seul endroit où vous pouvez être compétitif (et rentable) est le cloud.
Traduit de l’article https://www.matillion.com/resources/blog/better-faster-smarter-elt-vs-etl avec l'aimable autorisation de Matillion
Date de publication originale - 29 décembre 2020
ELT? Est-ce une faute de frappe? C'est une réaction typique de nombreux professionnels des données familiers avec l'acronyme «ETL» lorsqu'ils rencontrent pour la première fois l'acronyme subtilement différent «ELT».
L’Intelligence artificielle (IA) et le big data entrent dans une nouvelle ère, celle du temps réel. Depuis quelques temps, nos projets Data gagnent de la vitesse pour passer en temps réel. Tous les secteurs s’y mettent : retail, banque, énergie, transport, e-commerce...