オンデマンドでのログのアップロード

管理エージェントを使用してログ・ファイルを継続的に収集せずにOracle Logging Analyticsに収集する場合は、オンデマンド・アップロードを実行できます。分析するログをアップロードするために必要な数のオンデマンド・アップロードを実行できます。

次に、オンデマンド・アップロードの機能を示します:

  • 単一の未加工のログ・ファイル、または複数のログ・ファイルを含む任意のアーカイブ・ファイル(.zip.gz.tgz.tar)をアップロードできます。アーカイブ内のファイル数は、2000未満(存在する場合はディレクトリを含む)にする必要があります。

  • 1回のアップロードの最大ファイル・サイズ(単一ファイルまたはZIPファイル)は、1 GBです。ファイルの非圧縮サイズは、10 GB未満である必要があります。

  • 簡単に参照できるように各アップロードに名前を付けることができます。名前を再利用して、同じアップロード名で異なる時点にファイルをアップロードできます。

  • リージョン内のテナンシごとに許容される一意のアップロード名の数には、10000の制限があります。

  • ログ・データとともにメタデータ・ファイルを指定することで、各ログ・レコードに追加のメタデータを添付できます。

  • アップロード構成情報および対応する処理ステータスは、90日間使用できます。

前提条件: ログ・データのオンデマンド・アップロードを開始する前に、必ず次の情報を収集してください:

  • 新しいログ・ソースのログ・ソース名(または、ログ・フォーマットに一致するOracle定義のログ・ソースを使用します)。Oracle定義ソースおよびソースの作成を参照してください。

    オンデマンド・アップロードを実行するには、ソースのタイプが「システム・イベント・メッセージ(Syslog)」「ファイル」または「Oracle Diagnostic Logs (ODL)」である必要があります。

  • ログに対するユーザー・アクセス制御を管理するためにこれらのログを格納するログ・グループのOCID。ログを格納するログ・グループの作成を参照してください。
  • オプションで、アップロードするログをマップする場合は、エンティティOCID。ログ出力リソースを表すエンティティの作成を参照してください。

オンデマンド・アップロードに必要な権限

トピック:

ユーザーによるオンデマンド・アップロード作成、取得およびリスト操作の実行を許可

ユーザーが「作成」「取得」および「リスト」のオンデマンド・アップロード操作を実行できるようにするには、これらのオンデマンド・アップロード・タスクの実行に必要な権限のみを選択的に付与するか、個々のリソース・タイプの権限を付与するか、またはより広範な集計レベルの権限を付与します。そのため、ユースケースに適した、次に示す3つのポリシー・ステートメントのセットのいずれかを選択できます。

次のIAMポリシー・ステートメントは、オンデマンド・アップロード中の作成取得およびリスト操作に対する特定の権限をユーザー・グループに付与するためのものです:

allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy

次のIAMポリシー・ステートメントは、オンデマンド・アップロードを使用する権限を個々のリソース・タイプのレベルで提供するためのものです:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>

一方、次のIAMポリシー・ステートメントは、オンデマンド・アップロードを使用する権限をOracle Logging Analytics集約リソース・レベルで提供するためのものです:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment

前述のすべてのポリシー・ステートメントのgroup_nameは、必要な権限を付与する必要があるユーザー・グループを参照します。

オンデマンド・アップロード削除操作の実行をユーザーに許可

オンデマンド・アップロード削除タスクの実行、個々のリソース・タイプの権限の付与、またはより広範な集計レベルの権限の付与に必要な権限のみを選択的に付与することで、ユーザーがオンデマンド・アップロード・削除操作を実行できるようにすることができます。そのため、ユースケースに適した、次に示す3つのポリシー・ステートメントのセットのいずれかを選択できます。

次のIAMポリシー・ステートメントは、削除操作のユーザー・グループに権限を提供するためのものです:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy

次のIAMポリシー・ステートメントは、オンデマンド・アップロード削除操作の個々のリソース・タイプのレベルで権限を提供するためのものです:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy

次のIAMポリシー・ステートメントは、オンデマンドのアップロード削除操作のために、Oracle Logging Analytics集約リソース・レベルで権限を提供するためのものです:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy

前述のすべてのポリシー・ステートメントのgroup_nameは、必要な権限を付与する必要があるユーザー・グループを参照します。

コンソールを使用したオンデマンド・アップロード

Oracle Logging Analyticsのサービス・コンソールで使用可能なオンデマンド・アップロード(ODU)ウィザードを使用して、ログ・ファイルをアップロードできます。

ODUウィザードは、わかりやすいユーザー・インタフェースを介してファイルをアップロードするための簡単で便利な方法です。ウィザードで指示される直感的なステップに従って、アップロードするファイルを選択し、ファイルのプロパティを設定して、アップロードの前に確認します。
  1. Oracle Logging Analyticsから「アップロード」ページにアクセスします:

    ナビゲーション・メニューを開き、「監視および管理」をクリックします。「ログ・アナリティクス」で、「管理」をクリックします。「管理の概要」ページが開きます。

    管理リソースが、左側のナビゲーション・ペインの「リソース」の下にリストされます。「アップロード」をクリックします。

  2. 「アップロード」ページで、「ファイルのアップロード」をクリックします。
    「ファイルのアップロード」ページが開きます。
  3. ファイルを選択:
    • アップロード名を入力します。これは、アップロードしたログ・ファイルのステータスをトラッキングするために使用する名前です。一連のアップロードをまとめて保持する場合は、同じアップロード名を使用して、異なる時点に複数のアップロードを実行できます。
    • ログ・グループ・コンパートメントを選択して、ログ・グループが存在するスコープを定義します。
    • ログを格納する必要があるログ・グループを選択します。

      新しいログ・グループを作成するには、コンパートメントを選択し、「ログ・グループの作成」をクリックします。ダイアログ・ボックスで、名前および説明を入力します。「作成」をクリックします。

    • 「ファイルの選択」ボタンをクリックし、アップロードするログ・ファイルを選択します。ziptartgzなどのファイル・タイプおよびRAWテキスト・ファイルは、アップロード用に受け入れられます。1回のアップロードで複数のファイルを選択できます。

    アップロード用に選択したファイルのサマリーが表示されます。個々のファイルの最大サイズは100 MBです。アップロードごとに最大25個の個別ファイルをアップロードできます。コンテンツが何も含まれないファイルは有効ではなく、複数のファイルが選択されている場合にアップロード対象として考慮されません。

    「次」をクリックします。

  4. プロパティの設定: このページには、最初のステップで選択したファイルのリストが表示されます。各ファイルの処理に使用するソースを指定する必要があります。オプションで、他の追加プロパティを指定できます。すべてのファイルのプロパティを設定するには、ヘッダーのチェック・ボックスを選択し、「プロパティの設定」をクリックします。特定のファイルのプロパティを設定するには、ファイル名の横にある「アクション」メニュー・アイコン「アクション」メニュー・アイコンをクリックし、「プロパティの設定」をクリックします。「プロパティの設定」ダイアログ・ボックスが開きます。
    1. 「ソース」ドロップダウン・メニューから、ログ・ファイルの処理に使用するソースを選択します。

      オンデマンド・アップロードを実行するには、ソースのタイプが「システム・イベント・メッセージ(Syslog)」「ファイル」または「Oracle Diagnostic Logs (ODL)」である必要があります。

    2. オプションで、アップロードするこれらのファイルをエンティティにマップする場合は、「エンティティ・コンパートメント」ドロップダウン・メニューから、エンティティが存在するコンパートメントを選択します。
    3. オプションで、エンティティを指定できます。選択したエンティティ・コンパートメントと、選択したソースで定義されているエンティティ・タイプに基づいて、「エンティティ」ドロップダウン・メニューが移入されます。エンティティを選択します。
    4. オプションで、適切な処理に必要な情報がログ・エントリで使用できない場合、拡張プロパティを指定する必要があります。「拡張オプションの表示」セクションを展開します。ドロップダウン・メニューから、パラメータ「ログ・タイムゾーン」「文字エンコーディング」「日付書式」および「ログ・コンテンツの年」の値を選択します。「変更の保存」をクリックします。
      • ログ・タイムゾーン: ログ・エントリの処理に使用するタイムゾーン情報。デフォルトでは、ログ・エントリのタイムゾーン情報が処理に使用されます。ログ・エントリの情報を使用できない場合、メニューから選択した値が考慮されます。このメニューの値、またはログ・エントリの値を直接使用できない場合、エンティティのタイムゾーンが考慮されます。タイムゾーンの情報を使用できない場合、考慮されるデフォルト値はUTCです。
      • 文字エンコーディング: アップロードされるログ・ファイルの文字エンコーディング。Oracle Logging Analyticsは文字エンコーディングの自動検出を試行しますが、特定のユース・ケースでは、この値をオーバーライドする必要があります。
      • 日付書式: ログ・ファイルで使用可能な日付情報のフォーマット。{TIMEDATE}マクロを使用する場合は、このパラメータを使用して、指定したログ・エントリの日付書式を識別する際のあいまいさを除去します。たとえば、日付が12/10で、10月12日または12月10日と解釈可能な場合、DAY_MONTHまたはMONTH_DAYを使用してあいまいさを除去できます。日付が12/10/08の場合、DAY_MONTH_YEARMONTH_DAY_YEARまたはYEAR_MONTH_DAYを使用できます。

        パーサーが時間コンポーネントの抽出を使用する場合、あいまいさがないため、日付書式の指定をスキップできます。

      • ログ・コンテンツの年: ログ・エントリのタイムスタンプに年情報がない場合にログ・エントリの処理に使用する年情報。

      表の行を展開して、指定したプロパティを表示します。必要に応じて、選択したファイルをアップロード・リストから削除できます。

      アップロードに進む前に、必ず各アップロード・ファイルのソースを選択してください。

    5. 「次」をクリックします。
  5. 確認: アップロード用に選択したファイルのプロパティを確認します。プロパティを確認してアップロードを開始するには、「アップロード」をクリックします。

    Oracle Logging Analyticsは、ファイルの索引付けと処理を行います。アップロードが完了したら、「閉じる」をクリックしてアップロード・リスト・ページに移動します。

    ファイルのアップロードに失敗した場合は、ファイル名の横にある「再試行」アイコンをクリックして、ファイルを再度アップロードします。アップロードが成功したら、「閉じる」をクリックしてアップロード・リスト・ページに移動します。

「アップロード」ページで、アップロードの名前をクリックして「アップロード詳細」ページにアクセスします。このページには、アップロードのサマリーとそれに関連する警告が表示されます。

CLIを使用したオンデマンド・アップロード

OCI CLIを使用して、コマンドライン・インタフェースを介してログ・ファイルをOracle Logging Analyticsにアップロードできます。この単純なインタフェースにより、CLIをアプリケーションに統合してアップロードを自動化できます。

CLIの使用の詳細は、コマンドライン・インタフェース(CLI)を参照してください。

CLIコマンドで使用できるフラグおよびオプションの完全なリストは、コマンドライン・リファレンス: ログ・アナリティクス - アップロードを参照してください。

次のCLIコマンドを実行して、loganalytics-ondemand-uploadを管理します:

  • ログ・ファイルのアップロード:

    oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>

    前述のコマンドのサンプル・レスポンス:

    {
      "data": {
      "name": null,   
      “reference” : “32817130200562135",
      “timeCreated” : “2020-06-01T12:00:00.000Z”,
      "time-earliest-log-entry": null,
      "time-latest-log-entry": null,
      "time-updated": null,
      "warnings-count": null
      }
    }
  • アップロードの削除:

    oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
  • アップロードのリスト:

    oci log-analytics upload list --namespace-name <namespace_name>
  • アップロードの取得:

    oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
  • アップロード・ファイルのリスト:

    oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
  • アップロード・ファイルの削除:

    oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>

コンソールを使用したオンデマンド・アップロードの検証

ログ・データのオンデマンド・アップロードが完了したら、アップロードのサマリーを表示し、ファイル・ステータスを確認できます。

  1. ナビゲーション・メニューを開き、「監視および管理」をクリックします。「ログ・アナリティクス」で、「管理」をクリックします。「管理の概要」ページが開きます。
  2. 左側のパネルの「リソース」で、「アップロード」をクリックします。最新のオンデマンド・アップロードが表示されます。
  3. アップロードの処理済データを表示するには、アップロードに対応するメニュー・アイコンメニュー・アイコンをクリックし、「ログ・エクスプローラで表示」を選択します。
  4. アップロードのファイルのリストとその処理ステータスを表示するには、アップロード名をクリックします。

コンソールを使用したアップロード済ログ・ファイルの削除

ログ・データのオンデマンド・アップロードが完了したら、アップロードのサマリーを表示し、ファイル・ステータスを確認できます。ファイルのアップロードが失敗した場合、またはこのアップロードのファイルを保持する必要がなくなった場合は、それらを削除できます。

  1. ナビゲーション・メニューを開き、「監視および管理」をクリックします。「ログ・アナリティクス」で、「管理」をクリックします。「管理の概要」ページが開きます。
  2. 左側のパネルの「リソース」で、「アップロード」をクリックします。最新のオンデマンド・アップロードが表示されます。
  3. オンデマンド・アップロードを削除するには、アップロードに対応するメニュー・アイコンメニュー・アイコンをクリックし、「削除」を選択します。
  4. オンデマンド・アップロードのファイルを削除するには、アップロード名をクリックして「アップロード詳細」ページに移動します。

    指定したアップロードに含まれるファイルのリストが表示されます。ファイル名の横で各ファイルのステータスを確認できます。

    ファイルを削除するには、ファイル名の横にあるメニュー・アイコンメニュー・アイコンをクリックし、「削除」を選択します。

アップロードへのメタデータの追加

メタデータjsonファイルを作成し、uploads_metadata.jsonという名前を付けます。次に、メタデータ・ファイルの例を示します:

{
    "field1":"value1",
    "field2":"value2"
}

前述のファイルで、field1およびfield2は、Oracle定義フィールドまたはユーザー定義フィールドです。フィールドの作成を参照してください。これらのすべてのフィールドと指定された値が、解析された各ログ・レコードに追加されます。

サポートされるいずれかのファイル形式による実際のログ・データとuploads_metadata.jsonファイルを含むzipアーカイブ・ファイルを作成します。uploads_metadata.jsonファイルは、zipの最上位階層に配置する必要があります。