Accueil

Une des problématiques classiques de chargement de données est la suivante :

Comment maintenir simplement mes scripts de chargement depuis plusieurs bases de données sources vers plusieurs bases de données cible lorsque les modèles de données de ces derniers évoluent régulièrement et de façon indépendante ?

Une solution mise en oeuvre chez BNP-Paribas et les caisses d’épargnes consiste à utiliser/concevoir un générateur de scripts SQL de chargement. Ce générateur est indépendant des modèles de données sources et cibles. Ce ne sont pour lui que des Inputs de paramétrage. Cependant les seuls modèles de données ne permettent pas de piloter complètement le généreteur de SQL. Il faut qu’ils soient enrichis par un ensemble de métadonnés qui permettent de préciser, si besoin table par table et colonne par colonne, les stratégies d’alimentation, les règles de gestion spécifique ou encore les stratégies de répartition.

Des outils d’alimentation comme Sunopsis permettent de définir ces informations lors de la spécification des interfaces d’alimentation. Cependant, il est beaucoup plus naturel d’embarquer ces caractériques directement dans le modèle de données. C’est en effet lors de la modélisation de la base de données qu’il faut définir les différentes stratégies d’alimentation mises en oeuvre.

Sous PowerAMC, il est possible de compléter les caractéristiques de modélisation des tables et des colonnes par des champs spécifiés par les utilisateurs et dits “Attributs étendus”.

L’art d’industrialiser les scritps de chargement consiste donc à concevoir/paramétrer/utiliser des outils de chargement de données qui sauront rester le plus indépendant possible des modèles de données sources et cibles, mais qui seront aussi capables de puiser les méta-informations caractérisant les stratégies d’alimentation pour chaque table et chaque colonne directement dans les modèles de données.

Dans cette optique, un simple reverse d’une base de données ne permet pas d’atteindre les objectifs définis ci-dessus. C’est pourquoi, Ysance va investir dans le développement d’un module de RKM (Reverse knowledge module) sous Sunopsis de fichiers MPD PowerAMC, capable de générer automatiquement les modèles logiques de données, mais aussi capable de récupérer les méta-informations contenues dans les attributs étendus des tables et des colonnes.

Nous serons alors véritablement sur le chemin de l’industrialisation du chargement des données.