パイプラインのモニターおよびトラブルシューティング
作成されたすべてのパイプラインは、DBMS_CLOUD_PIPELINE
ビューに記録されます。
パイプライン・ステータス情報の表示
パイプライン・ステータスを確認し、USER_CLOUD_PIPELINES
ビューまたはDBA_CLOUD_PIPELINES
ビューを使用して他のパイプライン情報を取得します。たとえば、pipeline_name
にWHERE
句述語を含む次のSELECT
文は、MY_TREE_DATA
がロード・パイプラインであり、パイプラインが開始されることを示しています。
SELECT pipeline_name, pipeline_type, status FROM USER_CLOUD_PIPELINES
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME PIPELINE_TYPE STATUS
------------- ------------- -------
MY_TREE_DATA LOAD STARTED
詳細は、DBMS_CLOUD_PIPELINEビューを参照してください。
パイプライン属性の表示
パイプライン属性は、USER_CLOUD_PIPELINE_ATTRIBUTES
ビューまたはDBA_CLOUD_PIPELINE_ATTRIBUTES
ビューを問い合せることで監視できます。これらのビューを問い合せて、パイプライン属性情報を表示します。
次に例を示します。
SELECT pipeline_name, attribute_name, attribute_value FROM user_cloud_pipeline_attributes
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME ATTRIBUTE_NAME ATTRIBUTE_VALUE
------------- --------------- ---------------------------------------------------------------------------------
MY_TREE_DATA credential_name DEF_CRED_OBJ_STORE
MY_TREE_DATA format {"type": "csv"}
MY_TREE_DATA interval 20
MY_TREE_DATA location https://objectstorage.us-ashburn-1.oraclecloud.com/n/namespace/b/treetypes/o/
MY_TREE_DATA priority high
MY_TREE_DATA table_name TREES
詳細は、DBMS_CLOUD_PIPELINEビューを参照してください。
パイプライン履歴の表示
USER_CLOUD_PIPELINE_HISTORY
およびDBA_CLOUD_PIPELINE_HISTORY
ビューには、実行中のジョブの状態が表示されます。パイプライン履歴ビューを使用すると、パイプラインの状態をモニターし、実行中のパイプラインの障害を検出できます。
次に例を示します。
SELECT pipeline_id, pipeline_name, status, error_message FROM user_cloud_pipeline_history
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_ID PIPELINE_NAME STATUS ERROR_MESSAGE
----------- ------------- --------- -------------
7 MY_TREE_DATA SUCCEEDED
詳細は、DBMS_CLOUD_PIPELINEビューを参照してください。
パイプライン・ステータス表: ロード・パイプラインの追加監視
パイプライン・ステータス表には、ロード・パイプラインの各ファイル名とそのステータスが表示されます。DBA_CLOUD_PIPELINES
およびUSER_CLOUD_PIPELINES
のSTATUS_TABLE
列には、ステータス表名が表示されます。
たとえば、pipeline_name
にWHERE
句述語を含む次のSELECT
文は、パイプラインのステータス表名を示します。
SELECT pipeline_name, status_table FROM user_cloud_pipelines
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME STATUS_TABLE
------------- --------------------
MY_TREE_DATA PIPELINE$9$41_STATUS
次のようなパイプラインに関する情報を表示するには、ステータス表を表示します。
-
特定のファイルに対する操作が失敗した場合、関連するエラー番号とエラー・メッセージがステータス表に記録されます。
-
完了したパイプライン操作の場合、各操作に必要な時間は、レポートされた
START_TIME
およびEND_TIME
を使用して計算できます。
たとえば、次の例は、2つのファイルのロード操作が失敗し、1つが完了したことを示しています。
SELECT id, name, status, error_code, error_message, sid FROM PIPELINE$9$41_STATUS;
ID NAME STATUS ERROR_CODE ERROR_MESSAGE SID
-- ---------- --------- ---------- -------------------------------- -----
1 trees1.txt FAILED 30653 ORA-30653: reject limit reached 18070
2 trees2.txt FAILED 30653 ORA-30653: reject limit reached 18070
3 trees3.txt COMPLETED 18070
データをロードするためのパイプライン(pipeline_type
は'LOAD'
)は、USER_LOAD_OPERATIONS
およびDBA_LOAD_OPERATIONS
に示されているID
を予約します。これらのビューのID
値は、USER_CLOUD_PIPELINES
およびDBA_CLOUD_PIPELINES
のパイプラインのOPERATION_ID
にマップされます。
ロード・パイプラインの詳細を取得するには、パイプラインのOPERATION_ID
を問い合せます。
SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
WHERE PIPELINE_NAME = 'MY_TREE_DATA';
PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA 41
次に、(OPERATION_ID
値を使用して)ID
列でWHERE
句述語を使用してUSER_LOAD_OPERATIONS
またはDBA_LOAD_OPERATIONS
を問い合せます。
たとえば、次のとおりです。
SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
WHERE ID = 41;
ID TYPE LOGFILE_TABLE BADFILE_TABLE STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS
この問合せでは、ID
、TYPE
、LOGFILE_TABLE
、BADFILE_TABLE
(存在する場合)およびSTATUS_TABLE
が表示されます。これらの表を表示して、追加のパイプライン・ロード情報を確認できます。
パイプライン・ステータス表詳細
列 | Datatype | 説明 |
---|---|---|
ID |
NUMBER |
パイプラインに割り当てられる一意の番号。 |
NAME |
VARCHAR2(4000) |
パイプラインの名前。 |
BYTES |
NUMBER |
Bytes |
CHECKSUM |
VARCHAR2(128) |
チェックサム |
LAST_MODIFIED |
TIMESTAMP(6) WITH TIME ZONE |
パイプラインの最終変更時間。 |
STATUS |
VARCHAR2(30) |
STATUS 値は、次のいずれかです。
|
ERROR_CODE |
NUMBER |
エラー・コード |
ERROR_MESSAGE |
VARCHAR2(4000) |
エラー・メッセージ |
START_TIME |
TIMESTAMP(6) WITH TIME ZONE |
パイプラインの開始時間。 |
END_TIME |
TIMESTAMP(6) WITH TIME ZONE |
パイプラインの終了時間。 |
SID |
NUMBER |
セッション |
SERIAL# |
NUMBER |
セッション |
ROWS_LOADED |
NUMBER |
ロード済の行数 |
OPERATION_ID |
NUMBER |
今後使用するために予約されています。 |
パイプライン・ログ・ファイルおよび不正なファイル表
ロード・パイプラインのログ・ファイルおよび不正なファイル名を取得するには、パイプラインのOPERATION_ID
を問い合せます。たとえば:
SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
WHERE PIPELINE_NAME = 'MY_TREE_DATA';
PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA 41
次に、(OPERATION_ID
値を使用して)ID
列でWHERE
句述語を使用してUSER_LOAD_OPERATIONS
またはDBA_LOAD_OPERATIONS
を問い合せます。
たとえば:
SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
WHERE ID = 41;
ID TYPE LOGFILE_TABLE BADFILE_TABLE STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS
この問合せでは、ID
、TYPE
、LOGFILE_TABLE
、BADFILE_TABLE
(存在する場合)およびSTATUS_TABLE
が表示されます。これらの表を表示して、追加のパイプライン・ロード情報を確認できます。
パイプライン・ログ・ファイル表を表示して、パイプラインのロード操作の完全なログを確認します。
たとえば:
SELECT * FROM PIPELINE$9$41_LOG;
パイプライン不良ファイル表を表示して、エラーのある入力フォーマット・レコードの詳細を表示します。不正なファイル表には、ロード中のエラーを報告する行の情報が表示されます。ログ・ファイル表に示されているエラーおよびパイプラインの不正なファイル表に示されている行によっては、パイプラインのformat
属性オプションを変更するか、ロードするファイルのデータを変更することによって、エラーを修正できる場合があります。
次に例を示します。
SELECT * FROM PIPELINE$9$41_BAD;
詳細は、ロードのモニターおよびトラブルシューティングを参照してください。