Autonomous Databaseでのデータレイクの使用
Autonomous Databaseでデータ・レイクを使用する利点について学習します。
- Autonomous Databaseでのデータレイクについて
Oracle Autonomous Databaseは、あらゆるタイプのデータおよびワークロードに対応するための汎用性の高いソリューションです。 - データレイクとは
データ・レイクは、分析にデータが必要になるまで、膨大な量のRAWデータをネイティブ形式で格納するように設計された一元化されたリポジトリです。 - Autonomous Databaseの主要データレイク機能
Oracle Autonomous Databaseは、データレイク・ワークロードをシームレスにサポートするように設計されているため、管理やインストールが不要になります。さまざまなクラウド環境にわたってさまざまなデータ形式を処理する堅牢な機能を提供し、柔軟で包括的なデータ分析を実現します。
親トピック: 機能
Autonomous Databaseでのデータレイクについて 🔗
Oracle Autonomous Databaseは、あらゆるタイプのデータとワークロードに対応するための汎用性の高いソリューションです。
Autonomous Databaseは、JSON、Graph、Vectorなどの多様なデータ型をサポートしながら、オブジェクト・ストアと同等のTBあたりのコストでコスト効率の高いストレージを提供します。Autonomous Databaseを使用すると、企業はデータを単一のプラットフォームに統合できます。Oracle Machine Learning (OML)、Graph、Spatial、Vector、Blockchainなどのコンバージド機能を活用して、データを包括的に管理できます。
すでに他のプラットフォームに既存のデータレイクがある組織の場合、Oracle Autonomous Databaseはシームレスに統合されるため、企業は現在の設定を中断することなく、Autonomous Databaseの高度な機能からメリットを得ることができます。
詳細は、LiveLabs Autonomous Data Warehouseを使用したデータ・レイクの構築をお試しください。
データ・レイクとは 🔗
データ・レイクは、分析にデータが必要になるまで、膨大な量のRAWデータをネイティブ形式で格納するように設計された一元化されたリポジトリです。
柔軟性と拡張性に優れ、組織が構造化、半構造化、非構造化など、さまざまなタイプのデータを格納および処理できるようにすることで、従来のデータウェアハウスを強力に補完します。
-
ファイルおよび表形式のオープン
データ・レイクは、CSV、Parquet、Icebergなどのテーブル・フォーマットなどのオープン・ファイル形式でデータを格納します。これにより、複数のエンジンがこれらのデータセットを書き込んで読み取ることができるようになり、データ処理の相互運用性と柔軟性が確保されます。
-
複数のデータ処理エンジンのサポート
データレイクは、Apache Spark、Presto、Hiveなどの様々なデータ処理エンジンと互換性があり、多様な分析ワークロードを実現します。
-
スキーマオン読み取り
データレイクでは、スキーマ・オン・リード・アプローチを使用することが多く、スキーマを事前に定義する必要はありません。これにより、「データを今すぐ取得し、後で質問する」オブジェクト・ストアと同様に、データを事前に構造化せずにロードできる迅速なデータ取り込みが可能になります。
-
非構造化データのサポート
構造化データ以外にも、データレイクはイメージ(JPG)、ドキュメント(PDF、Word)、その他のバイナリ・データなどの非構造化データを格納でき、包括的なストレージ・ソリューションを提供します。
Autonomous Databaseのデータレイク機能 🔗
Oracle Autonomous Databaseは、データレイク・ワークロードをシームレスにサポートするように設計されているため、管理やインストールが不要になります。さまざまなクラウド環境にわたってさまざまなデータ形式を処理する堅牢な機能を提供し、柔軟で包括的なデータ分析を実現します。
- データレイクのワークロードに対応
Oracle Autonomous Databaseは、すぐに利用できるデータレイクのワークロードに完全に備えており、追加コンポーネントを必要としません。この準備は、データ変換、メタデータ管理、一般的なデータレイク・ツールとの統合などの主要なデータレイク・タスクにまで及び、すべて追加の設定なしで初日から利用できます。 - マルチCloud Support
すでに他のプラットフォームに既存のデータレイクがある組織の場合、Autonomous Databaseはシームレスに統合されるため、企業は現在の設定を中断することなく、Autonomous Databaseの高度な機能を活用できます。 - エンドツーエンドのデータ形式のサポート
Oracle Autonomous Databaseは、幅広いデータ形式に対応できる柔軟性を備えて設計されており、多様なデータ・ソースとワークロードに対応するユニバーサル・ソリューションとなっています。 - 強化された機能: 非構造化データ管理のためのAutonomous Database
Oracle Databaseは構造化データおよび半構造化データの強力な処理で認識されますが、Autonomous Databaseは非構造化データセットも処理できるように機能を拡張します。 - 柔軟なメタデータ管理
Oracle Autonomous Databaseは、データセットのメタデータを定義するための様々な方法をユーザーに提供し、データ管理の適応性と効率性を高めます。 - フェデレーテッド・メタデータのサポート
Autonomous Databaseでは、フェデレーテッド・メタデータ・カタログがサポートされるため、ユーザーは様々なソースのメタデータを単一のビューに統合でき、メタデータ管理用の統合インタフェースが提供されます。 - コラボレーション
ユーザーが分析を終了した後、多くの場合、他のユーザーと結果を共有する必要があります。Oracle Autonomous Databaseは、コラボレーションのいくつかの方法を提供し、統合セキュリティ機能、オープン・プロトコル、シームレスなクラウド接続など、他のデータベースと比べて独自の利点を提供することで、共有を容易にします。 - Oracle Databaseツールとの広範な互換性
Autonomous Database環境は、様々なOracleデータベース・ツールと完全に互換性があります。
データレイク・ワークロードに対応 🔗
Oracle Autonomous Databaseは、すぐに利用できるデータレイク・ワークロードに完全に対応しており、追加のコンポーネントを必要としません。この準備は、データ変換、メタデータ管理、一般的なデータレイク・ツールとの統合などの主要なデータレイク・タスクにまで及び、すべて追加の設定なしで初日から利用できます。
この包括的なレディネスは、Autonomous Databaseを際立たせ、データレイク・ワークロードのインサイト化までの時間を短縮する、統合された手間のかからないエクスペリエンスを提供します。つまり、ユーザーは設定や構成を行わずにデータレイク・タスクの処理をすぐに開始できるため、データレイク環境向けの真のプラグアンドプレイ・ソリューションとなります。この組込み機能により、運用が簡素化され、メンテナンス・コストが削減され、エラーが少なくて高い信頼性が確保されます。
Autonomous Databaseは、開発者からビジネス・アナリストまで、すべてのユーザー・タイプに対応した一連のツールを提供し、プラットフォームを汎用的かつアクセス可能にします。
開発者は、高度な操作、スクリプト作成、自動化のためにPL/SQL APIなどのツールを使用できるため、既存のツールとシームレスに統合し、カスタマイズされたデータベース・ソリューションを効率的に作成できます。詳細は、Autonomous Databaseで提供されるパッケージのリファレンスを参照してください。
ビジネス・ユーザー向けに、Data Studioを使用できます。これは、データ・インタラクション、探索およびビジュアライゼーションを簡素化するWebベースのインタフェースです。Data Studioを使用すると、非技術ユーザーはインサイトを導き出し、レポートを作成し、効果的にコラボレーションできるため、複雑さを軽減し、情報に基づいた意思決定をサポートできます。詳細は、「Data Studioの概要」ページを参照してください。
マルチCloud Support 🔗
すでに他のプラットフォームに既存のデータレイクがある組織の場合、Autonomous Databaseはシームレスに統合されるため、企業は現在の設定を中断することなく、Autonomous Databaseの高度な機能を活用できます。
Autonomous Databaseに接続するために必要な権限とアクセスをデータレイクに付与することで、データレイクへのAutonomous Databaseアクセスを提供します。必要な資格証明を指定すると、Autonomous Databaseは、AWS、Azure、Google Cloud、Oracle OCIオブジェクト・ストアなど、さまざまなクラウド環境のデータレイクにシームレスに接続できます。
この機能により、各クラウド・プロバイダのネイティブ・セキュリティ機能を活用して、データに安全にアクセスして管理できます。このマルチクラウド・サポートにより、統一されたセキュアな環境を維持しながら、さまざまなクラウド・プラットフォームにまたがってデータレイクをデプロイおよび拡張できる柔軟性が得られます。
Oracle Autonomous Databaseは、他のクラウドのネイティブ・セキュリティをサポートしています。詳細は、対応するクラウド・プラットフォームのAmazonリソース名(ARN)を使用したAWSリソースへのアクセス、Azureサービス・プリンシパルを使用したAzureリソースへのアクセスおよびGoogleサービス・アカウントを使用したGoogle Cloudプラットフォーム・リソースへのアクセスを参照してください。
エンドツーエンドのデータ形式のサポート 🔗
Oracle Autonomous Databaseは、幅広いデータ形式に対応できる柔軟性を備えて設計されており、多様なデータ・ソースおよびワークロードに対応するユニバーサル・ソリューションとなっています。
データが構造化形式、半構造化形式、非構造化形式のいずれであっても、Autonomous Databaseは様々なクラウド環境でシームレスにデータをサポートします。これにより、企業はフォーマットの互換性を気にすることなく、データの取込み、格納および分析を行うことができます。
Autonomous Databaseは、CSVやJSONなどの従来のフォーマット、およびAVRO、Parquet、ORCなどの高度なフォーマットをネイティブでサポートします。詳細は、Autonomous Databaseを使用した外部データの問合せに関する項を参照してください。Autonomous Databaseでは、CSV、JSON、XML、AVRO、ORC、Parquet、Delta Sharing、Iceberg、Word、PDFのファイル形式がサポートされています。
Autonomous Databaseでは、Iceberg Table形式のサポートが追加され、大規模なデータレイク環境向けの強化された機能が提供されます。Icebergは、最適化された高パフォーマンスのクエリ、優れたバージョン管理、簡単なデータ管理を可能にし、大規模で進化するデータセットに適しています。詳細は、Apache Iceberg表の問合せを参照してください。
拡張機能: 非構造化データ管理用のAutonomous Database 🔗
Oracle Databaseは、構造化データと半構造化データの強力な処理で認識されますが、Autonomous Databaseは、非構造化データセットも処理できるように機能を拡張します。
- RAG(Retrieval Augmented Generation)によるAI駆動型インサイト: Autonomous Databaseは、高度なAIモデルを統合し、非構造化データのベクトル検索を可能にします。これにより、AIを使用して大規模なデータセット全体で関連情報を効率的に取得できるため、検索の精度とスピードが向上します。詳細は、Select AI with Retrieval Augmented Generation (RAG)を参照してください。
- 全文索引付け: Autonomous Databaseでは、非構造化ファイルに対する全文索引の作成がサポートされるため、PDF、Wordファイルなどのドキュメントに対して高度なテキスト検索を実行できます。この機能により、非構造化コンテンツの問合せ、索引付けおよび分析が大幅に改善されます。オブジェクト・ストレージのファイルでの全文検索の使用を参照してください
- 非構造化データの解析およびロード: Autonomous Databaseの拡張解析およびデータ取込み機能により、ユーザーは非構造化データをシームレスにロードし、自動的に表形式に変換して、データベースにロードする準備が整います。詳細は、イメージからの表抽出の実行を参照してください。
- AI as a Source of Data (Prompt-to-Table): AIを活用することで、Autonomous Databaseは迅速な表作成機能を実現し、ユーザーはAIモデルから直接データを生成して表にロードできます。これにより、AIによって生成された出力から貴重なインサイトを抽出し、構造化データの新しいソースとして使用する可能性が広がります。AIソースからのデータのロードを参照してください
これらの拡張機能は、Autonomous Databaseを非構造化データの増大する要求に対応するための強力なツールとして位置付け、AIを活用したソリューションを活用することで、最新のデータ課題に対応する汎用性と将来に対応したプラットフォームとなっています。
柔軟なメタデータ管理 🔗
Oracle Autonomous Databaseは、データセットのメタデータを定義する様々な方法をユーザーに提供し、データ管理の適応性と効率性を高めます。
- カタログベースのメタデータ統合
ユーザーは、様々なカタログのメタデータを一元化されたビューにすることで、組織全体のデータの一貫性を簡単に制御および維持できます。サポートされているカタログは次のとおりです。
-
OCI Data Catalog: Oracle Cloud Infrastructure (OCI)内のツールで、ユーザーがデータ・アセットを検出、編成および管理するのに役立ちます。すべてのデータ資産を明確に把握できるため、ユーザーはコンプライアンスを維持し、データ品質を確保し、チーム間のコラボレーションを促進できます。詳細は、「例: MovieStreamのシナリオ」を参照してください。
-
AWS Glue: メタデータを編成および管理するためのデータ・カタログを含む、Amazon Web Servicesからの管理対象ETL (抽出、変換、ロード)サービス。詳細は、AWS Glueデータ・カタログを使用した外部データの問合せを参照してください。
-
- 手動メタデータ定義
ユーザーは、Oracle Cloud Infrastructure (OCI) Object StorageやAmazon S3などのオブジェクト・ストア内のデータセットに対して、表レベルでメタデータを直接定義することもできます。これにより、ユーザー要件に合わせて、個々のファイルまたはファイル・グループのデータをカスタマイズして編成できます。Autonomous Databaseでは、列名やデータ型などのメタデータを自動的に推測して、時間を節約し、エラーを削減することもできます。たとえば、CSVファイルをアップロードすると、ヘッダーが列名として自動的に検出され、コンテンツに基づいて番号やvarchar2などの適切なデータ型を割り当てることができます。これにより、ユーザーは手作業なしで分析のためにデータを迅速に準備できるため、設定時間が短縮され、エラーの可能性が最小限に抑えられます。
フェデレーテッド・メタデータのサポート 🔗
Autonomous Databaseは、フェデレーテッド・メタデータ・カタログをサポートしているため、ユーザーは様々なソースのメタデータを単一のビューに統合でき、メタデータ管理用の統合インタフェースが提供されます。
このアプローチにより、複数のクラウドおよびプラットフォームにまたがるデータ・ソースを接続することで、様々な環境にわたるメタデータ管理が簡素化されます。カタログベースのメタデータを使用するか、手動で定義するかに関係なく、すべての情報を統合カタログで簡単に参照できます。たとえば、組織は、このフェデレーテッド・ビューを使用してAWSとOracle Cloudの両方からデータ・アセットを管理し、プラットフォーム間で一貫したガバナンスと検出性を確保できます。
Collaboration 🔗
ユーザーが分析を終了した後は、多くの場合、他のユーザーと結果を共有する必要があります。Oracle Autonomous Databaseは、コラボレーションのいくつかの方法を提供し、統合セキュリティ機能、オープン・プロトコル、シームレスなクラウド接続など、他のデータベースと比べて独自の利点を提供することで、共有を容易にします。
これらのオプションは柔軟で安全であるため、様々なコラボレーション・ニーズに適合します。
-
デルタ共有プロトコル: デルタ共有と呼ばれるオープン・プロトコルを使用して、Oracleの外部でデータを共有できます。複雑な統合を必要とせずに、外部パートナーとの安全なデータ共有をサポートし、クロスクラウドおよびクロスプラットフォーム分析に最適です。これにより、Oracleに含まれていない様々な分析ツールでデータをスムーズに使用できます。詳細は、オブジェクト・ストレージを使用したデータ・バージョンの共有を参照してください。
-
クラウド・リンク: セキュアなクラウド・リンクを使用して、異なるAutonomous Databaseインスタンス間でデータを共有できます。たとえば、クラウド・リンクは、様々なデータベースの接続に特に有効です。これにより、データの一貫した可用性が保証され、コピーや複製を必要とせずに、複数のデータベースのデータに迅速かつ信頼性の高いアクセスを必要とするアプリケーションのレイテンシが削減されます。広がり、連携する必要があるチームのコラボレーションをスムーズに維持します。「直接接続を使用したライブ・データの共有」を参照してください
-
事前認証済リクエストURL: 別のログインを必要とせずにデータにアクセスできる特別なURLを作成することで、データを直接共有できます。ユーザーは、権限を制御し、これらのURLの有効期限を設定できるため、安全で柔軟な共有オプションを確保できます。この機能は、RESTクライアント専用に構築されています。詳細は、表またはビューのPAR URLの生成を参照してください。
Oracle Databaseツールとの広範な互換性 🔗
Autonomous Database環境は、様々なOracleデータベース・ツールと完全に互換性があります。
データの可視化、分析、ETL、管理など、Oracleデータベースとの対話にすでに使用しているツールも、シームレスに活用してAutonomous Database内のデータセットを分析できます。この互換性により、スムーズなエクスペリエンスが保証され、ユーザーは新しいツールやプロセスを採用する必要なく、Autonomous Databaseを既存のワークフローに統合できるため、効率を最大化し、学習曲線を短縮できます。
Oracleデータベースで使用できるいくつかのツールの詳細は、Data Studioの「概要」ページを参照してください。