Un algorithme de détection d’anomalies a pour objectif principal de repérer des données atypiques et non conformes aux autres données.

Le random forest est un algorithme incontournable en machine learning. Random forest signifie « forêt aléatoire ». Proposé par Leo Breiman en 2001, c'est un algorithme qui se base sur l’assemblage d’arbres de décision. Il est assez intuitif à comprendre, rapide à entraîner et il produit des résultats généralisables. Seul bémol, le random forest est une boîte noire qui donne des résultats peu lisibles, c’est-à-dire peu explicatifs.

On vous propose une série d’articles pour revenir sur quelques algorithmes les plus souvent utilisés chez nos clients. On commence par l’un des algorithmes les plus simples : l’arbre de décision.

Face à la pandémie du COVID-19, c’est une véritable course aux essais thérapeutiques qui s’est engagée depuis quelques mois avec actuellement un grand nombre de laboratoires pharmaceutiques mobilisés sur le sujet. A ce jour, c’est plus d’une cinquantaine de demandes d’autorisations d’essais cliniques sur le Covid-19 qui ont été soumises rien qu’en France ! Mais qu’est-ce exactement qu’un essai clinique ?

Nous arrivons à la fin de cette série de “10 conseils pour être un super data engineer”, nous avons abordés ensemble différentes techniques afin de rendre vos traitements plus performants, efficaces et  scalables. Nous allons conclure avec “Everything as code” qui vous permettra de versionner vos traitements, les partager, les réutiliser et les affiner par le biais de la collaboration.

Apache Drill, qu’est-ce que c’est ?

Apache Drill est un moteur de requêtes distribué avec lequel il est possible d’effectuer des requêtes SQL sur de multiples types de datasources (bases de données SQL ou NoSQL, fichiers Apache Parquet, fichiers CSV, JSON, … etc …)

Les Traces vous aident à mieux comprendre l'état d’avancement de vos traitements. Continuons cet échange avec les traitements et regardons leur fonctionnement en profondeur afin de les rendre plus efficaces.

Dans les articles précédents nous avons abordé différentes bonnes pratiques autour de la taille et du rôle des jobs, et de l’automatisation de l'exécution de vos jobs à l’aide d’un orchestrateur.  Et si vous laissiez vos jobs vous informer, à l’aide de traces, dans quelle étape du traitement sont-ils ?

Les bonnes pratiques peuvent parfois nous échapper. Pensez à séparer la logique d’orchestration de la logique de traitement et gardez vos données en parfaite harmonie. Nous allons continuer avec un axe majeur pour une architecture data réussie et durable : la scalabilité.

Qui ne cherche pas à gagner en efficacité ? Pour cela, pensez à découper systématiquement vos jobs en “petites” tailles et vous gagnerez en efficacité, en temps d'exécution et une facilité de maintenance. Nous allons donc continuer avec une autre bonne pratique qui est l’automatisation de l'exécution de nos jobs à l’aide d’un orchestrateur.