データ・フローSQLエンドポイントを開始する前に
データ・フローSQLエンドポイントを使用するには、次のものが必要です:
- Oracle Cloud Infrastructureアカウント。トライアル・アカウントは、データ・フローの表示に使用できます。
- Oracle Cloudサービスに対するサービス管理者ロール。サービスがアクティブ化されると、選択したアカウント管理者に資格証明とURLが送信されます。アカウント管理者は、サービスへのアクセスを必要とする各ユーザーのアカウントを作成します。
- 次のようなサポート対象ブラウザがあります:
-
Microsoft Internet Explorer 11.x以降
-
Mozilla Firefox ESR 38以上
-
Google Chrome 42以降
ノート
Spark UIの場合、Google Chromeのみを使用してください。 -
-
処理のデータがオブジェクト・ストレージにロードされました。データは外部データ・ソースまたはクラウド・サービスから読み取ることができます。データ・フローのSQLエンドポイントは、オブジェクト・ストレージに格納されているデータのパフォーマンスとセキュリティを最適化します。
Oracle Cloud Infrastructure Console、APIまたはCLIを使用してクラウド・リソースに説明、タグまたはフレンドリ名を割り当てる場合、機密情報を入力しないでください。データ・フローでアプリケーションを作成または編集する場合に適用されます。
SQLエンドポイントの理解
データ・フローSQLエンドポイントは、テナンシ内で長時間実行されるコンピュート・クラスタを使用するサービス・エンティティです。コンピュート・シェイプと使用するインスタンスの数を選択します。各クラスタは、管理者が停止するまで実行されます。Sparkはクラスタで実行されます。そのSQLエンジンは高速で、データ・フローと統合されており、非構造化データをサポートしています。ODBCまたはJDBCを使用して接続し、IAM資格証明で認証します。
データ・フローSQLエンドポイントとは
データ・フローSQLエンドポイントは、開発者、データ・サイエンティストおよび上級アナリストが、データの対話型問合せをデータ・レイク内のデータが存在する場所で直接行えるように設計されています。このデータは、リレーショナル、半構造化、非構造化(ログ、センサー・ストリーム、ビデオ・ストリームなど)で、通常はオブジェクト・ストアに格納されます。データの量と複雑さが増すにつれて、データレイク内のデータを変換または移動するのではなく、ネイティブ形式で探索および分析するツールが重要になります。データ・フローのSQLエンドポイントを使用すると、アクセスの制御に使用されるクラウド・ネイティブ・セキュリティを使用して、大量のRAWデータを経済的に処理できます。必要なインサイトにセルフサービスでアクセスできます。複雑なITプロジェクトを調整したり、古いデータを心配する必要はありません。データ・フローのSQLエンドポイントの問合せは、スケジュールされた本番パイプラインのデータ・フロー・バッチとシームレスに相互運用されます。これにより、高速データ分析が可能になり、サイズが固定され、管理者が停止するまで実行される長時間実行の自動スケーリング・コンピュート・クラスタが使用されます。
- データレイクに対してインタラクティブな分析を直接提供します。
- スケールアウト、非構造化データの読取りと書込み、および既存のデータ・フローとの相互運用性を実現するためにSpark上に構築されています。
- SQLを使用して分析を容易にします。
- IAM資格証明を使用したODBCまたはJDBC接続を使用して、主要なビジネス・インテリジェンス(BI)ツールをサポートします。
-
オブジェクト・ストレージにロードされた処理にデータを使用します。データは外部データ・ソースまたはクラウド・サービスから読取り可能です。
データ・フローのSQLエンドポイントは、Sparkでサポートされているのと同じタイプのファイルをすべてサポートします。たとえば、JSON、Parquet、CSVおよびAvroです。