Surveillance et dépannage des pipelines

Afficher les informations sur le statut du pipeline

Vérifiez le statut du pipeline et obtenez d'autres informations sur le pipeline à l'aide des vues USER_CLOUD_PIPELINES ou DBA_CLOUD_PIPELINES. Par exemple, l'instruction SELECT suivante avec un prédicat de clause WHERE sur pipeline_name indique que MY_TREE_DATA est un pipeline de charge et que le pipeline est démarré :

SELECT pipeline_name, pipeline_type, status FROM USER_CLOUD_PIPELINES
   WHERE pipeline_name = 'MY_TREE_DATA';


PIPELINE_NAME PIPELINE_TYPE STATUS  
------------- ------------- ------- 
MY_TREE_DATA  LOAD          STARTED

Pour plus d'informations, reportez-vous à DBMS_CLOUD_PIPELINE Vues.

Afficher les attributs de pipeline

Vous pouvez surveiller les attributs de pipeline en interrogeant les vues USER_CLOUD_PIPELINE_ATTRIBUTES ou DBA_CLOUD_PIPELINE_ATTRIBUTES. Interrogez ces vues pour afficher les informations sur les attributs de pipeline.

Par exemple :

SELECT pipeline_name, attribute_name, attribute_value FROM user_cloud_pipeline_attributes
     WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_NAME ATTRIBUTE_NAME  ATTRIBUTE_VALUE                                                                   
------------- --------------- --------------------------------------------------------------------------------- 
MY_TREE_DATA  credential_name DEF_CRED_OBJ_STORE                                                                
MY_TREE_DATA  format          {"type": "csv"}                                                                   
MY_TREE_DATA  interval        20                                                                                
MY_TREE_DATA  location        https://objectstorage.us-ashburn-1.oraclecloud.com/n/namespace/b/treetypes/o/ 
MY_TREE_DATA  priority        high                                                                              
MY_TREE_DATA  table_name      TREES

Pour plus d'informations, reportez-vous à DBMS_CLOUD_PIPELINE Vues.

Afficher l'historique du pipeline

Les vues USER_CLOUD_PIPELINE_HISTORY et DBA_CLOUD_PIPELINE_HISTORY indiquent l'état des travaux en cours d'exécution. Utilisez les vues d'historique de pipeline pour surveiller l'état d'un pipeline et détecter les échecs dans un pipeline en cours d'exécution.

Par exemple :

SELECT pipeline_id, pipeline_name, status, error_message  FROM user_cloud_pipeline_history      
     WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_ID PIPELINE_NAME STATUS    ERROR_MESSAGE 
----------- ------------- --------- ------------- 
          7  MY_TREE_DATA SUCCEEDED

Pour plus d'informations, reportez-vous à DBMS_CLOUD_PIPELINE Vues.

Table Statut du pipeline : Surveillance supplémentaire pour les pipelines de chargement

La table des statuts de pipeline affiche chaque nom de fichier et son statut pour un pipeline de chargement. La colonne STATUS_TABLE dans DBA_CLOUD_PIPELINES et USER_CLOUD_PIPELINES indique le nom de la table de statut.

Par exemple, l'instruction SELECT suivante avec un prédicat de clause WHERE sur pipeline_name affiche le nom de la table de statut d'un pipeline :

SELECT pipeline_name, status_table FROM user_cloud_pipelines
   WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_NAME STATUS_TABLE
------------- --------------------
MY_TREE_DATA  PIPELINE$9$41_STATUS

Consultez la table des statuts pour obtenir des informations sur le pipeline, notamment :

• Le numéro d'erreur et le message d'erreur pertinents sont enregistrés dans la table des statuts en cas d'échec d'une opération sur un fichier spécifique.

• Pour les opérations de pipeline terminées, le temps nécessaire à chaque opération peut être calculé à l'aide des éléments START_TIME et END_TIME signalés.

Par exemple, l'opération de chargement de deux fichiers a échoué et l'une est terminée :

SELECT id, name, status, error_code, error_message, sid FROM PIPELINE$9$41_STATUS;

ID NAME       STATUS    ERROR_CODE ERROR_MESSAGE                      SID 
-- ---------- --------- ---------- -------------------------------- ----- 
 1 trees1.txt FAILED         30653 ORA-30653: reject limit reached  18070 
 2 trees2.txt FAILED         30653 ORA-30653: reject limit reached  18070 
 3 trees3.txt COMPLETED                                             18070 

Pipelines pour le chargement de données, où pipeline_type est 'LOAD', réservez un élément ID affiché dans USER_LOAD_OPERATIONS et dans DBA_LOAD_OPERATIONS. La valeur ID dans ces vues correspond à la valeur OPERATION_ID du pipeline dans USER_CLOUD_PIPELINES et DBA_CLOUD_PIPELINES.

Pour obtenir plus d'informations sur un pipeline de chargement, interrogez le fichier OPERATION_ID du pipeline :

SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
     WHERE PIPELINE_NAME = 'MY_TREE_DATA';

PIPELINE_NAME OPERATION_ID 
------------- ------------ 
MY_TREE_DATA            41

Ensuite, interrogez USER_LOAD_OPERATIONS ou DBA_LOAD_OPERATIONS avec un prédicat de clause WHERE sur la colonne ID (en utilisant la valeur OPERATION_ID).

Par exemple :

SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
     WHERE ID = 41;

ID TYPE     LOGFILE_TABLE     BADFILE_TABLE     STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS

Cette requête affiche ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE si elle existe et STATUS_TABLE. Vous pouvez consulter ces tables pour obtenir des informations supplémentaires sur le chargement du pipeline.

Détails de la table des statuts de pipeline

Tables de fichiers journaux de pipeline et de fichiers incorrects

Afin d'obtenir le fichier journal et les noms de fichier erronés pour un pipeline de chargement, interrogez le fichier OPERATION_ID du pipeline. Par exemple :

SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
     WHERE PIPELINE_NAME = 'MY_TREE_DATA';

PIPELINE_NAME OPERATION_ID 
------------- ------------ 
MY_TREE_DATA            41

Ensuite, interrogez USER_LOAD_OPERATIONS ou DBA_LOAD_OPERATIONS avec un prédicat de clause WHERE sur la colonne ID (en utilisant la valeur OPERATION_ID).

Par exemple :

SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
     WHERE ID = 41;

ID TYPE     LOGFILE_TABLE     BADFILE_TABLE     STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS

Cette requête affiche ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE si elle existe et STATUS_TABLE. Vous pouvez consulter ces tables pour obtenir des informations supplémentaires sur le chargement du pipeline.

Affichez la table des fichiers journaux du pipeline pour afficher un journal complet des opérations de chargement du pipeline.

Par exemple :

SELECT * FROM PIPELINE$9$41_LOG;

Consultez la table des fichiers de pipeline erronés pour voir les détails des enregistrements de format d'entrée comportant des erreurs. La table des fichiers incorrects affiche les informations relatives aux lignes signalant des erreurs lors du chargement. En fonction des erreurs affichées dans la table des fichiers journaux et des lignes affichées dans la table des fichiers incorrects du pipeline, vous pouvez corriger les erreurs en modifiant les options d'attribut format du pipeline ou en modifiant les données du fichier que vous chargez.

Par exemple :

SELECT * FROM PIPELINE$9$41_BAD;

Pour plus d'informations, reportez-vous à Surveillance et dépannage des chargements.