Oracle Cloud Infrastructureドキュメント

概要

ビッグ・データ・サービスは、エンドツーエンドのセキュリティ、高いパフォーマンス、管理やアップグレードのしやすさを兼ね備えたエンタープライズグレードのHadoopをサービスとして提供します。

ビッグ・データ・サービスは、様々なビッグ・データのユース・ケースおよびワークロード用に設計されたOracle Cloud Infrastructureサービスです。特定のタスクを処理するために使用される存続期間の短いクラスタから、大規模なデータ・レイクを管理する存続期間の長いクラスタに至るまで、ビッグ・データ・サービスは低コストで最高レベルのセキュリティで組織の要件を満たすようにスケーリングされます。

ノート

ビッグ・データ・サービスによって使用されるブロック・ボリュームに保存されているデータは、デフォルトで暗号化されます。

ビッグ・データ・サービスには次のものが含まれます:

  • An Hadoop stack that includes an installation of Oracle Distribution including Apache Hadoop (ODH).ODHには、ビッグ・データを操作および保護するためのApache Ambari、Apache Hadoop、Apache HBase、Apache Hive、Apache Spark、およびその他のサービスが含まれています。

    ODHの内容の詳細は、『Oracle Distribution Including Apache Hadoopについて』を参照してください。

  • Oracle Cloud Infrastructureの機能およびリソース。アイデンティティ管理、ネットワーキング、コンピュート、ストレージおよびモニタリングなど。
  • クラスタを作成および管理するためのREST API。
  • データをコピーおよび移動するためのodcp CLI。
    ノート

    ODCPを使用できるのは、Cloudera Distribution including Hadoopを使用するクラスタのみです。
  • ネイティブのOracle Cloud Infrastructureシェイプに基づいて、任意のサイズのクラスタを作成する機能。たとえば、小規模で存続時間の短いクラスタを柔軟な仮想環境に作成したり、専用のハードウェア上で長時間実行される非常に大規模なクラスタを作成したり、これらの任意の組合せを作成できます。
  • オプションのセキュアな高可用性(HA)クラスタ。
  • Oracle Cloud SQL統合。Oracle SQL問合せ言語を使用して、Apache Hadoop、Apache Kafka、NoSQLおよびオブジェクト・ストアのデータを分析します。
  • ビッグ・データ・サービス・クラスタに何がデプロイされるかをカスタマイズするためのフル・アクセス。

  • ビッグ・データ・サービスは、OCIコンソールに表示されるパッチをリリースします。ビッグ・データ・サービス・クラスタを最新の状態に保ち、サポートされているように、これらのパッチを適用する必要があります。ビッグ・データ・サービス・リリース・パッチの詳細は、ビッグ・データ・サービスでのパッチ適用を参照してください。

Apache Hadoop (ODH)を含むOracle Distributionについて

ODHは、Oracleのデータ・プラットフォームとネイティブに統合されるように一から構築されています。ODHはフルマネージドであり、現在認識され、構築しているHadoopコンポーネントと同じものです。ODHは、バージョンODH 2.xおよびODH 1.xとして使用できます。

詳細は、次を参照してください:

ノート

Apache Hiveは、弱いアルゴリズムを含む可能性のあるデータ・マスキングの関数をサポートしています。強力な暗号化アルゴリズムの場合、カスタム関数を記述できます。詳細は、hive/languagemanual+UDFにあるApache Hive UDFリファレンスを参照してください。

ODHの各バージョンに含まれるコンポーネントの詳細は、ビッグ・データ・サービスApache Hadoop (ODH)を含むOracle Distributionについてを参照してください。

ビッグ・データ・サービスのリリースおよびパッチ・バージョン

次の表に、各リリースのビッグ・データ・サービスのリリースおよびパッチ・バージョンを示します。

Big Data Serviceリリース ODHバージョン JDKバージョン OSバージョン
3.0.28

ODH 2.0.9.41

ODH 1.1.13.21

1.8.0_411

OS 1.28.0
3.0.27

ODH 2.0.8.862

ODH 1.1.12.809

ODH 0.9.9.7

JDK

OS 1.27.0
3.0.26

ODH 2.0.7.11

ODH 1.1.11.7

ODH 0.9.9.7

JDK

OS 1.26.0
3.0.25

ODH 2.0.6.5

ODH 1.1.10.4

ODH 0.9.8.3

JDK

OS 1.25.0

Apache Hadoop 3.3.3に基づくODH 2.x

次の表に、ODHに含まれるコンポーネントとそのバージョンを示します。

コンポーネント バージョン
Apache Ambari 2.7.5
Apache Flink 1.15.2
Apache Flume 1.10.0
Apache Hadoop (HDFS、YARN、MR) 3.3.3
Apache HBase 2.4.13
Apache Hive 3.1.3
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3.2.0
Apache Livy 0.7.1
Apache Oozie 5.2.1
Apache Parquet MR 1.10
Apache RangerおよびInfrSolr 2.3.0 および0.1.0
Apache Spark 3.2.1
Apache Sqoop 1.4.7
Apache Tez 0.10.2
Apache Zookeeper 3.7.1
Kerberos 1.1-15
ODHユーティリティ 1.0
スキーマ登録 1.0.0
Trino 389
付加価値サービス
ORAAH 含まれる

ODH 1.x Apache Hadoop 3.1に基づく

次の表に、ODH 1.xに含まれるコンポーネントとそのバージョンを示します。

コンポーネント バージョン
Apache Ambari 2.7.5
Apache Flink 1.15.2
Apache Flume 1.10.0
Apache Hadoop (HDFS、YARN、MR) 3.1.2
Apache HBase 2.2.6
Apache Hive 3.1.2
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3.2.0
Apache Livy 0.7.1
Apache Oozie 5.2.0
Apache Parquet MR 1.10
Apache RangerおよびInfrSolr 2.1.0 および0.1.0
Apache Spark 3.0.2
Apache Sqoop 1.4.7
Apache Tez 0.10.0
Apache Zookeeper 3.5.9
Kerberos 1.1-15
ODHユーティリティ 1.0
スキーマ登録 1.0.0
Trino 360
付加価値サービス
ORAAH 含まれる

ビッグ・データ・サービスへのアクセス

ビッグ・データ・サービスには、コンソール、OCI CLI、REST APIまたはSDKを使用してアクセスします。

  • OCIコンソールは、使いやすいブラウザベースのインタフェースです。コンソールにアクセスするには、サポートされているブラウザを使用する必要があります。
  • OCI CLIでは、プログラミングの必要がなく、迅速なアクセスとすべての機能の両方が提供されます。クラウド・シェル環境を使用してCLIを実行します。
  • REST APIドキュメントでは、ほとんどの機能が提供されますが、プログラミングの専門知識が必要です。エンドポイントの詳細とビッグ・データ・サービスAPIなど使用可能なAPIリファレンス・ドキュメントへのリンクは、APIリファレンスとエンドポイントを参照してください。
  • OCIで提供されるSDKでは、フレームワークを作成することなく、ビッグ・データを操作できます。

リソース識別子

ビッグ・データ・サービス・リソースには、Oracle Cloud Infrastructureのほとんどのタイプのリソースと同様に、Oracle Cloud ID (OCID)と呼ばれる、Oracleによって割り当てられた一意の識別子があります。

OCIDのフォーマットおよびその他のリソース識別方法の詳細は、リソース識別子を参照してください。

リージョンおよび可用性ドメイン

リージョンおよび可用性ドメインは、ビッグ・データ・サービス・リソースの物理的および論理的な編成を示します。リージョンは限られた地理的領域で、可用性ドメインはリージョン内に配置された1つ以上のデータ・センターです。

ビッグ・データ・サービス、Oracle Cloud SQL、および関連サービスが使用可能なリージョンの最新情報は、Oracle Cloud Infrastructure and Platform Servicesのデータ・リージョンを参照してください。

サービス制限

Oracle Cloud Infrastructure (OCI)にサインアップすると、テナンシにサービス制限のセットが構成されます。サービス制限は、リソースに対して設定される割当てまたは許容量です。これらの制限は、OCIリソースの使用状況およびアカウントの状態に基づいて自動的に増加する場合があります。サービス制限を参照してください。

デフォルトのサービス制限

テナンシに設定されている制限には、作成できるビッグ・データ・サービス・クラスタ・ノードの数の制限があります。具体的には、特定のシェイプの特定の数のノードに制限されます。

次の表に、様々なクラスタ・シェイプのデフォルトの制限を示します。これらは、サブスクリプションの購入時に他の契約を行っておらず、まだ引上げを要求していない場合の制限です。

リソース 月次ユニバーサル・クレジット Pay-as-you-go
VM.Standard2.1 12インスタンス(12 OCPU) 8インスタンス(8 OCPU)
VM.Standard2.2 12インスタンス(24 OCPU) 8インスタンス(16 OCPU)
VM.Standard2.4 12インスタンス(48 OCPU) 8インスタンス(32 OCPU)
VM.Standard2.8 8インスタンス(64 OCPU) お問合せ
VM.Standard2.16 8インスタンス(128 OCPU) お問合せ
VM.Standard2.24 8インスタンス(192 OCPU) お問合せ

VM.DenseIO2.8

VM.DenseIO2.16

VM.DenseIO2.24

VM.DenseIO.E4

BM.HPC2.36

BM.DenseIO2.52

BM.DenseIO.E4

BM.Optimized3

BM.Standard2.52

BM.Standard3.64

BM.Standard.E4

 お問合せ お問合せ

表示単位

実際に増やすのは、ノード、すなわちクラスタ内のインスタンスの数です。(「ノード」と「インスタンス」は、このコンテキストで同じことを意味します。通常、OCIサービスは「インスタンス」という用語を使用しますが、ビッグ・データ・サービスは「ノード」という用語を使用するHadoop規則に従います。)

ただし、制限は通常、Oracle Compute Unit (OCPU).の数として表されますビッグ・データ・サービス・ノード・シェイプの各タイプには、設定された数のOCPUがあります。ノード・シェイプ名の小数点の後の数字は、そのシェイプの単一ノード内のOCPUの数を示します。たとえば、VM.Standard2.1ノードには1つのOCPU、VM.Standard2.4ノードには4つのOCPU、BM.DenseIO2.52ノードには52のOCPUがあります。

たとえば、サブスクリプションで月次ユニバーサル・クレジットを使用する場合、ノード・シェイプVM.Standard2.4のデフォルトの制限は48 OCPUで、これは12ノードに相当します。計算式は、次のとおりです: 48 OCPU(サービス制限) / 4 OCPU(ノード当たりのOCPU数) = 12ノード。

サービス割当て制限

Big Data Serviceの管理者は、ユーザーが作成できるリソースを制限することにより、ユーザーに制限を適用する割当てポリシーを設定できます。

Oracle Cloud Infrastructureによる割当て制限の処理の詳細は、コンパートメント割当て制限の概要を参照してください。

次の情報を使用して、割当てを作成します:

サービス名: big-data

割当て制限:
割当て制限名 スコープ 説明
vm-standard-2-1-ocpu-count リージョナル VM.Standard2.1 OCPUの数
vm-standard-2-2-ocpu-count リージョナル VM.Standard2.2 OCPUの数
vm-standard-2-4-ocpu-count リージョナル VM.Standard2.4 OCPUの数
vm-standard-2-8-ocpu-count リージョナル VM.Standard2.8 OCPUの数
vm-standard-2-16-ocpu-count リージョナル VM.Standard2.16 OCPUの数
vm-standard-2-24-ocpu-count リージョナル VM.Standard2.24 OCPUの数
vm-dense-io-2-8-ocpu-count リージョナル VM.DenseIO2.8 OCPUの数
vm-dense-io-2-16-ocpu-count リージョナル VM.DenseIO2.16 OCPUの数
vm-dense-io-2-24-ocpu-count リージョナル VM.DenseIO2.24 OCPUの数
bm-hpc2-36-ocpu-count リージョナル BM.HPC2.36 OCPUの数
bm-dense-io-2-52-ocpu-count リージョナル BM.DenseIO2.52 OCPUの数
bm-standard-2-52-ocpu-count リージョナル BM.Standard2.52 OCPUの数

ビッグ・データ・サービスの割当て制限ポリシーの例:

  • ユーザーがmycompartmentコンパートメント内に作成するサービスに割り当てることができるVM.Standard2.4 OCPUの数を40に制限します。

    Set big-data quota vm-standard-2-4-ocpu-count to 40in Compartment mycompartment

  • ユーザーがtestcompartmentコンパートメント内に作成するサービスに割り当てることができるBM.DenseIO2.52 OCPUの数を20に制限します。

    Set big-data quota bm-dense-io-2-52-ocpu-count to 20 in Compartment testcompartment

  • ユーザーがexamplecompartコンパートメント内にVM.Standard2.4 OCPUを作成できないようにします。

    Zero big-data quota vm-standard-2-4-ocpu-count in Compartment examplecompart

統合OCIサービス

ビッグ・データ・サービスは、様々なOCIサービスおよび機能と統合されています。

検索

ビッグ・データ・サービスは、OCI Searchと統合されています。検索では、テナンシ内のリソースと、APIキー、メタストア構成、レイク構成などのクラスタおよび構成オブジェクトに関する重要な情報を検索できます。

検索問合せの例:

例1: すべてのビッグ・データ・サービス・リソースの検索

query bigdataservice resources

例2: すべてのアクティブなビッグ・データ・サービス・クラスタの検索

query bigdataservice resources where lifecycleState = 'ACTIVE'

ビッグ・データ・サービスはOCI Searchと完全に統合されており、特定のリソース・タイプをサポートしています。

リソースの種類 サポートされているフィールド
BigDataService
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • clusterVersion
  • isHighAvailability
  • isSecure
  • isCloudSqlConfigured
  • clusterDetails
  • nodes
  • numberOfNodes
  • kmsKeyId

BdsInstanceリファレンスを参照してください。
BigDataServiceApiKey
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • userId
  • bdsId
  • keyAlias

BdsApiKeyリファレンスを参照してください。
BigDataServiceMetastoreConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • metastoreId
  • metastoreType

BdsMetastoreConfigurationリファレンスを参照してください。
BigDataServiceLakehouseConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • lakehouseId
サービス・イベント

ビッグ・データ・サービス・クラスタで実行される特定のアクションは、イベントを発します。

イベントの発生時に特定のアクションをトリガーするルールを定義できます。たとえば、リソースが削除されたときに管理者に通知を送信するルールを定義できます。イベントの概要およびイベントの開始を参照してください。

次の表に、ビッグ・データ・サービスのイベント・タイプをリストします。

わかりやすい名前 イベント・タイプ
インスタンスの作成の開始 com.oraclecloud.bds.cp.createinstance.begin
インスタンス作成の終了 com.oraclecloud.bds.cp.createinstance.end
インスタンスの終了の開始 com.oraclecloud.bds.cp.terminateinstance.begin
インスタンスの終了の終了 com.oraclecloud.bds.cp.terminateinstance.end
ワーカー・ノード追加の開始 com.oraclecloud.bds.cp.addnode.begin
ワーカー・ノード追加の終了 com.oraclecloud.bds.cp.addnode.end
ブロック・ストレージの追加の開始 com.oraclecloud.bds.cp.addblockstorage.begin
ブロック・ストレージの追加の終了 com.oraclecloud.bds.cp.addblockstorage.end
クラウドSQLの構成の開始 com.oraclecloud.bds.cp.addcloudsql.begin
クラウドSQLの構成の終了 com.oraclecloud.bds.cp.addcloudsql.end
クラウドSQLの無効化の開始 com.oraclecloud.bds.cp.removecloudsql.begin
クラウドSQLの無効化の終了 com.oraclecloud.bds.cp.removecloudsql.end
障害ODHサービス証明書の開始 com.oraclecloud.bds.cp.disableodhservicecertificate.begin
ODHサービス証明書の無効化の終了 com.oraclecloud.bds.cp.disableodhservicecertificate.end
ODHサービス証明書の有効化の開始 com.oraclecloud.bds.cp.enableodhservicecertificate.begin
ODHサービス証明書の有効化の終了 com.oraclecloud.bds.cp.enableodhservicecertificate.end
ODHサービス証明書の更新の開始 com.oraclecloud.bds.cp.renewodhservicecertificate.begin
ODHサービス証明書の更新の終了 com.oraclecloud.bds.cp.renewodhservicecertificate.end
非同期作業リクエスト

次のビッグ・データ・サービス操作では、作業リクエストが作成されます。ビッグ・データ・サービス・クラスタの詳細ページで、これらの作業リクエストを表示できます。

ビッグ・データ・サービスAPI 作業リクエスト操作 作業リクエスト・ステータス・オプション

CreateBdsInstance

UpdateBdsInstance

DeleteBdsInstance

AddBlockStorage

AddWorkerNodes

AddCloudSql

RemoveCloudSql

ChangeBdsInstanceCompartment

ChangeShape

RestartNode

AddAutoScalingConfiguration

UpdateAutoScalingConfiguration,

RemoveAutoScalingConfiguration

CREATE_BDS

UPDATE_BDS

DELETE_BDS

ADD_BLOCK_STORAGE

ADD_WORKER_NODES

ADD_CLOUD_SQL

REMOVE_CLOUD_SQL

CHANGE_COMPARTMENT_FOR_BDS

CHANGE_SHAPE

RESTART_NODE

UPDATE_INFRA

UPDATE_INFRA

UPDATE_INFRA

ACCEPTED

IN_PROGRESS

FAILED

SUCCEEDED

CANCELING

CANCELED

参照:

その他のリソース

ビッグ・データ・サービスを学習するための開始ワークショップの受講

ビッグ・データ・サービスを初めて使用する際に、すぐに稼働させたい場合は、ビッグ・データ・サービスでのCloudera Distribution including Hadoopの使用に関するワークショップのいずれかを試してください。(高可用性(HA)クラスタ用と非HAクラスタ用があります。)一連の手順を追ったラボでは、単純な環境を設定して小規模なクラスタを作成する手順を示します。

ビッグ・データの開始(HAクラスタ)
ビッグ・データ・サービスについて学習します。Oracle Cloud Infrastructure環境を設定し、クラウドSQLサポートを備えた高可用性(HA)かつセキュアなクラスタを作成します。
ビッグ・データの開始(非HAクラスタ)
ビッグ・データ・サービスについて学習します。Oracle Cloud Infrastructure環境を設定し、クラウドSQLサポートを備えた非HAクラスタを作成します。
ロード・バランサを使用したビッグ・データ上のサービスへのアクセス(HAクラスタ)
ビッグ・データ・サービスについて学習します。Oracle Cloud Infrastructure環境を設定し、クラウドSQLサポートを備えた高可用性(HA)かつセキュアなクラスタを作成します。
ロード・バランサを使用したビッグ・データ上のサービスへのアクセス(非HAクラスタ)
非高可用性(非HA)ビッグ・データ・サービス・クラスタ上のCloudera Manager、Hue、およびOracle Data Studioにセキュアにアクセスするために、フロント・エンドとして使用するロード・バランサを作成します。
ビッグ・データ上のOracle DataSource for Apache HadoopをAutonomous Data Warehouseに接続
ビッグ・データ・サービス上のOracle DataSource for Apache Hadoop(OD4H)をAutonomous Data Warehouse (ADW)に接続する方法を学習します。

Hadoopについて学ぶ

このOracle Learningの再生リストのビデオを見て、Apache HadoopおよびHadoopエコシステムについて学習します。