Affirmons-le simplement, le cloud aura tout changé dans notre industrie.
Suite à notre premier article abordant le Programme “AWS Open Data”, nous allons nous intéresser au projet Common-Crawl, inclus dans ce programme, et présenter un exemple de code écrit en Python pour voir “comment exploiter le contenu des pages WEB mises à disposition par ce projet”.
Beaucoup de gens pensent que la régression linéaire est simple : il est simplement question de trouver une droite au milieu d'un nuage de points. Ce n’est pas vrai ! Nous pouvons même dire que la régression linéaire est un modèle faussement simple : vous allez voir pourquoi dans cet article.
Le développement de l’Open Data
Depuis environ les années 2000, un nombre grandissant d'États et d’Administrations mettent à disposition un partie des données qu’elles produisent.
En effet, au même titre que leurs acteurs militants du logiciel libre considèrent que les progrès technologiques doivent faire partie du bien commun, ce même paradigme est apparu pour la data que certains ont qualifiée de nouvel “Or Noir du XXIème siècle”.
De nombreuses entreprises migrent actuellement la donnée dans le Cloud pour de très bonnes raisons : modernisation de leur stack technologique, utilisation de la capacité de stockage et de calcul du Cloud, intégration simplifiée avec leurs logiciels SaaS ou leurs partenaires, capacité à scaler mais aussi pour attirer les bonnes compétences, se créer ainsi un futur data-driven.
Un algorithme de détection d’anomalies a pour objectif principal de repérer des données atypiques et non conformes aux autres données.
Le random forest est un algorithme incontournable en machine learning. Random forest signifie « forêt aléatoire ». Proposé par Leo Breiman en 2001, c'est un algorithme qui se base sur l’assemblage d’arbres de décision. Il est assez intuitif à comprendre, rapide à entraîner et il produit des résultats généralisables. Seul bémol, le random forest est une boîte noire qui donne des résultats peu lisibles, c’est-à-dire peu explicatifs.
On vous propose une série d’articles pour revenir sur quelques algorithmes les plus souvent utilisés chez nos clients. On commence par l’un des algorithmes les plus simples : l’arbre de décision.
Face à la pandémie du COVID-19, c’est une véritable course aux essais thérapeutiques qui s’est engagée depuis quelques mois avec actuellement un grand nombre de laboratoires pharmaceutiques mobilisés sur le sujet. A ce jour, c’est plus d’une cinquantaine de demandes d’autorisations d’essais cliniques sur le Covid-19 qui ont été soumises rien qu’en France ! Mais qu’est-ce exactement qu’un essai clinique ?
Nous arrivons à la fin de cette série de “10 conseils pour être un super data engineer”, nous avons abordés ensemble différentes techniques afin de rendre vos traitements plus performants, efficaces et scalables. Nous allons conclure avec “Everything as code” qui vous permettra de versionner vos traitements, les partager, les réutiliser et les affiner par le biais de la collaboration.