Suivre l’exécution d’une Nuit Applicative

1Suivre autre chose que le simple résultat d’une tâche

Dans cet article, nous appelons Nuit Applicative (NA) une chaîne de traitements Qlik exécutés automatiquement, généralement en dehors des heures d’utilisation, afin d’extraire, transformer et préparer les données nécessaires aux applications.

La QMC indique l’état d’une tâche, mais on peut souhaiter disposer, dans les données elles-mêmes, d’un suivi complémentaire : le traitement a-t-il réellement démarré ? Est-il arrivé jusqu’à son terme ? Combien de temps a-t-il duré ? Quels volumes a-t-il produits ?

Le principe retenu est volontairement simple :

CALL SuiviNaDebut(...);

// Traitement normal de l'application

CALL SuiviNaFin(...);

2SuiviNaDebut : poser le KO avant de commencer

Dès le début du script, SuiviNaDebut enregistre une trace contenant notamment l’application, la date et l’heure de démarrage, avec un statut provisoire KO.

Ce KO ne signifie pas qu’une erreur vient déjà de se produire. À cet instant, nous savons seulement que le traitement a commencé : rien ne garantit encore qu’il atteindra sa fin.

3SuiviNaFin : l’OK se mérite à la fin

Lorsque les traitements sont terminés et que les QVD ont été produits, l’application atteint SuiviNaFin. La routine peut alors enregistrer l’heure de fin, calculer la durée et clôturer l’exécution.

CALL SuiviNaFin(...);

Lorsque SuiviNaFin est atteinte, le suivi de cette exécution est clôturé en OK avec ses informations de fin. Si la routine n’est jamais atteinte, le KO posé au démarrage reste présent.

4Un traitement terminé peut quand même mériter notre attention

Arriver jusqu’à la fin du script confirme que le traitement s’est exécuté. Cela ne garantit pas, à lui seul, que la volumétrie produite est celle attendue. On peut donc profiter de SuiviNaFin pour ajouter un contrôle complémentaire.

Qlik fournit la fonction QvdNoOfRecords(), qui retourne le nombre d’enregistrements présents dans un QVD.

// Nombre de lignes du QVD produit
LET vNbLignesQvd =
    QvdNoOfRecords('lib://QVD/COMMANDES.qvd');

Côté SGBD source, le même principe peut être obtenu par un comptage sur la table homonyme :

SELECT COUNT(*)
FROM ERP.COMMANDES;

5Le nom du QVD fournit déjà le nom de la table

Une application peut produire plusieurs QVD provenant de différents schémas du SGBD. Si l’on adopte la convention un QVD = une table source homonyme, inutile de déclarer chaque table individuellement : le nom du QVD fournit déjà le nom de la table.

Il reste simplement à indiquer les schémas sources à contrôler :

SET vTablesSuiviFinNa =
    'ERP|REFERENTIEL|CRM';

Le caractère | n’a ici aucune signification particulière dans Qlik : c’est simplement le séparateur choisi pour stocker plusieurs schémas dans une même variable.

Quelques lignes suffisent à illustrer le parcours de cette liste :

IF Len(Trim('$(vTablesSuiviFinNa)')) > 0 THEN

    FOR vIndex = 1 TO
        SubStringCount('$(vTablesSuiviFinNa)', '|') + 1

        LET vSchema =
            Trim(
                SubField(
                    '$(vTablesSuiviFinNa)',
                    '|',
                    $(vIndex)
                )
            );

        IF Len('$(vSchema)') > 0 THEN
            // Contrôle des QVD associés au schéma...
        END IF

    NEXT vIndex

END IF

Le premier test évite de lancer la boucle si aucune liste n’a été définie. Le second ignore un élément vide, par exemple après un séparateur final ou en présence d’espaces parasites.

6Faire ressortir immédiatement ce qui mérite l’attention

Le QVD de suivi peut alimenter une application de restitution de la Nuit Applicative. L’objectif n’est pas de mélanger les contrôles, mais au contraire de rendre leur lecture immédiate.

Ici, CHARGEMENT_CLIENTS a bien atteint sa fin : son statut reste donc OK. L’écart de -150 est néanmoins mis en évidence par un indicateur rouge dans le rapport.

À l’inverse, CHARGEMENT_STOCKS est resté en KO : son traitement n’a jamais atteint SuiviNaFin. Le même suivi peut naturellement servir de base à d’autres mécanismes d’alerte.

Cette approche complète la supervision native de Qlik Sense par des contrôles liés au déroulement des traitements et aux données produites.

Référence technique :documentation Qlik — QvdNoOfRecords().