Après le Cloud et le Streaming de données, la grande nouveauté est certainement l’arrivée du concept de Data Mesh (nous trouvons ce mot trop élégant en anglais pour se risquer à le traduire).
Image tirée de slon.pics Suite
Il a été rédigé par Micha Kunze qui nous a très aimablement autorisé à le traduire.
Cet article a été originellement publié ici : https://towardsdatascience.com/develop-your-data-as-a-product-f9ba268c4e20
Publication originale : 31 octobre 2020 · 7 min de lecture
Pratiques de Data Engineering
Mettre en œuvre des principes de Data-Mesh pour mettre à l'échelle la couche de données de votre organisation
De nombreuses entreprises investissent dans leur lac de données de nouvelle génération, dans l'espoir de démocratiser les données à grande échelle pour fournir des informations commerciales et, en fin de compte, prendre des décisions intelligentes automatisées. Les plateformes de données basées sur l'architecture du lac de données ont des modes de défaillance communs qui conduisent à des promesses non tenues à grande échelle. Pour faire face à ces modes de défaillance, nous devons passer du paradigme centralisé d'un lac ou de son entrepôt de données prédécesseur. Nous devons passer à un paradigme qui s'inspire de l'architecture distribuée moderne: considérer les domaines comme la préoccupation de premier ordre, appliquer la pensée de plate-forme pour créer une infrastructure de données en libre-service et traiter les données comme un produit.
Traduit depuis l’article : https://www.matillion.com/resources/blog/evolving-cloud-data-platform-opportunities-in-2021-the-lakehouse // Date de publication originale : 9 décembre 2020
La gestion des données cloud est à la hausse et les entreprises en prennent note. L'introduction en bourse de Snowflake à l'automne, ainsi que l' accélération de la compréhension des données en raison de la pandémie, ont augmenté la vitesse à laquelle les entreprises mettent en œuvre des stratégies de données cloud.
A l’heure du customer-centric, le Référentiel Client Unique (RCU) est au coeur des projets d’entreprise.. Véritable pierre angulaire de la vision 360°, le RCU peut se résumer à une application qui contient l’unicité de l’identité de vos clients. Cependant, par expérience nous constatons que le plus souvent les données clients sont disséminées au sein du SI de l’entreprise et absolument pas centralisées entraînant :
- de très nombreux doublons,
- un manque de complétude,
- un risque majeur d’avoir des données disparates.
Dans notre dernier article, nous avons vu comment extraire les données brutes des pages du Common-crawl et à partir des données de ces pages, nous avons produit quelques statistiques portant sur les langues utilisées dans les pages, les domaines internet des pages ainsi que sur la localisation (niveau pays) des serveurs d’où elles sont publiées.
Aujourd’hui, nous proposons de reprendre les données téléchargées et de constituer un corpus de textes. Nous indexerons ensuite ces données en “text intégral” (full-text en anglais) à l’aide du moteur ElasticSearch. Après cela, nous utiliserons l’application Kibana pour explorer en langage naturel les pages web enregistrées dans ElasticSearch.
Affirmons-le simplement, le cloud aura tout changé dans notre industrie.
Suite à notre premier article abordant le Programme “AWS Open Data”, nous allons nous intéresser au projet Common-Crawl, inclus dans ce programme, et présenter un exemple de code écrit en Python pour voir “comment exploiter le contenu des pages WEB mises à disposition par ce projet”.
Le développement de l’Open Data
Depuis environ les années 2000, un nombre grandissant d'États et d’Administrations mettent à disposition un partie des données qu’elles produisent.
En effet, au même titre que leurs acteurs militants du logiciel libre considèrent que les progrès technologiques doivent faire partie du bien commun, ce même paradigme est apparu pour la data que certains ont qualifiée de nouvel “Or Noir du XXIème siècle”.