bda-oss-adminを使用したストレージおよびその他の構成設定の管理

bda-oss-adminコマンド行ユーティリティを使用して、ストレージ・プロバイダ、ストレージ・アクセスのためのユーザー資格証明、およびクラスタで使用するその他のリソースを追加および管理します。構成の詳細は、クラスタ上のcore.site.xmlファイルに保存されます。

ノート

bda-oss-admin CLIを使用できるのは、Cloudera Distribution including Hadoopを使用するクラスタのみです。

コマンド行でコマンドを入力するには、SSHを使用してopcユーザーとしてクラスタ上の任意のノードに接続し、bda-oss-adminコマンドを入力します。SSHを使用したクラスタ・ノードへの接続を参照してください。

bda-oss-admin環境変数の理解

一部のbda-oss-adminオプションは環境変数として設定できるため、コマンドを実行するたびに値を指定する必要はありません。

次の表は、bda-oss-adminオプションのリストとそれに対応する(置換可能な)環境変数を示しています。

すべてのbda-oss-adminコマンドのオプションおよび環境変数

コマンド行でコマンドへのオプションとして、またはシェル環境変数として、すべてのbda-oss-adminコマンドに次の値を設定する必要があります。


コマンド・オプション	環境変数	説明
`--cm-admin`	`CM_ADMIN`	Cloudera Manager管理者ユーザー名。
`--cm-passwd`	`CM_PASSWORD`	Cloudera Manager管理者パスワード。このコマンドは、パスワードが指定されていない場合はパスワードの入力を求めます。
`--cm-url`	`CM_URL`	Cloudera ManagerのURL (`https://servername.bigdata.examplecloud.com:7183`など)

bda-oss-adminストレージ資格証明コマンドのオプションおよび環境変数

環境変数の設定

これらを環境変数として設定するには、シェル・スクリプトを作成して実行します。

次の例では、Linux bashシェル・スクリプトbdcsvars.shによって、すべてのbda-oss-adminコマンドで必要なCloudera Manager資格証明を設定しています:

#!/bin/bash
export CM_ADMIN="my_cm_admin_username"
export CM_PASSWORD="my_cm_admin_password"
export CM_URL="https://my_CM_hostname_:7183"

次の例では、Linux bashシェル・スクリプトstorvars.shによって、ストレージ資格証明を設定しています:

#!/bin/bash
export ST_USER="MyServiceName-MyIdentityDomain:MyUserName"
export ST_KEY="Wel_123"
export ST_AUTH="http://storage.a123456.examplecloud.com/auth/v1.0"
export ST_PROVIDER="MyProviderName"

複数のストレージ・プロバイダに対して作業する場合は、そのすべてのプロバイダに対してシェル・スクリプトを作成すると便利な場合があります。この場合、どのプロバイダを使用していても、スクリプトを実行するのみでストレージ資格証明を設定できます。

これらのスクリプトを格納先のディレクトリから実行するには:

# source ./bdacsvars.sh
# source ./storvars.sh

構成の確認

bda-oss-adminコマンド、パラメータおよび環境変数を使用して設定した構成は、Hadoopの/etc/hadoop/conf/core-site.xml構成ファイルに格納されます。

core-site.xmlファイルを参照すると、現在の構成を確認できますが、直接編集しないでください。かわりに、bda-oss-adminを使用してください。

bda-oss-adminコマンド

ビッグ・データ・サービス・コマンド行ユーティリティbda-oss-adminを使用して、クラスタのユーザーおよびリソースを管理します。

bda-oss-adminコマンドを発行するには、opcユーザーとしてノードに接続し、sudoコマンドを使用してrootユーザーに切り替える必要があります。SSHを使用したクラスタ・ノードへの接続を参照してください。

構文

bda-oss-admin [options] subcommand [arguments]...

オプション


オプション	説明
`--version`	`bda-oss-admin`のバージョンを表示します
`--cm-admin user_name`	Cloudera Manager管理者ユーザー名
`--cm-passwd password`	Cloudera Manager管理者(クラスタ管理者)パスワード。このコマンドは、パスワードが指定されていない場合はパスワードの入力を求めます。
`--b64–cm-passwd password`	Cloudera Managerのパスワードは、Base64でエンコードされています。アップロード前にデコードされます。
`--cm-url url`	Cloudera ManagerのURL (たとえば、`https://servername.bigdata.oraclecloud.com:7183`)
`-b` `--b64-encoded-pwds`	パスワードはBase64でエンコードされています。アップロード前にデコードされます。
`-h` `--help`	このコマンドのヘルプを表示します。

前述のオプションをコマンド行で指定する場合、オプションはbda-oss-adminコマンドの直後およびそのサブコマンドの前に置く必要があります。たとえば、次のコマンドは有効です:

# bda-oss-admin --region region_name add_oci_cred

ただし、次のコマンドは、--regionオプションがlist_oci_credサブコマンドの後に置かれているため無効です:

# bda-oss-admin list_oci_cred --region region_name

bda-oss-adminサブコマンド


コマンド	タスク
bda-oss-admin add_bdcs_cp_extensions_mr	ビッグ・データ・サービスclasspath拡張機能をMapReduce構成に追加します
bda-oss-admin add_hadoop_prop	Hadoop構成にプロパティを追加します
bda-oss-admin add_krb_delegate	管理権限を持つOracle Cloud Infrastructure Object Storage Classicユーザーの資格証明を追加します
bda-oss-admin add_oci_cred	Oracle Cloud Infrastructure Object Storage資格証明をHadoop構成に追加します
bda-oss-admin add_proxy_user	他のユーザーにトークンを委任するプロキシ・ユーザーを追加します
bda-oss-admin add_s3_cred	Amazon Web Services S3資格証明をHadoop構成に追加します
bda-oss-admin delete_oci_cred	Hadoop構成からOracle Cloud Infrastructure Object Storage Classic資格証明を削除します
bda-oss-admin delete_s3_cred	Hadoop構成からAmazon Web Services S3資格証明を削除します
bda-oss-admin list_oci_cred	Hadoop構成からOracle Cloud Infrastructure Object Storage Classicオブジェクト・ストレージ資格証明をリストします
bda-oss-admin list_s3_cred	Hadoop構成からAmazon Web Services S3資格証明をリストします
bda-oss-admin print_yarn_hadoop_env	Hadoop構成からOracle Cloud Infrastructure Object Storage Classic資格証明をリストします
bda-oss-admin print_yarn_mapred_cp	YARN MapReduceのデフォルトのclasspathを表示します
bda-oss-admin remove_bdcs_cp_extensions_mr	Oracle Big Data Service `classpath`拡張機能をMapReduce構成から削除します。
bda-oss-admin restart_cluster	クラスタを再起動します(失効したサービスのみ)
bda-oss-admin set_bdcs_proxy_user	ビッグ・データ・サービス・ユーザーをプロキシ・ユーザーとしてHadoop構成に追加します(内部コマンド)
bda-oss-admin update_oci_cred	Hadoop構成のOracle Cloud Infrastructure Object Storage資格証明を更新します。
bda-oss-admin update_s3_cred	Hadoop構成のAmazon Web Services S3資格証明を更新します

bda-oss-admin add_bdcs_cp_extensions_mr

bda-oss-admin add_bdcs_cp_extensions_mrを使用して、Oracle Big Data Service classpath拡張機能をMapReduce構成(mapred-site.xmlおよびhadoop-env.shファイル内)に追加します。

構文

bda-oss-admin add_bdcs_cp_extensions_mr [options]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します

例

# bda-oss-admin add_bdcs_cp_extensions_mr
Changes will not affect the cluster until services get restarted. See the restart_cluster command

bda-oss-admin add_hadoop_prop

bda-oss-admin add_hadoop_propを使用して、Cloudera Manager APIを介してHadoop core-site.xml構成ファイルにプロパティを追加します。

構文

次の構文では、わかりやすくするために改行が追加されています。コマンドの入力時には含めないでください。

bda-oss-admin add_hadoop_prop 
      [<options>] 
      <property_name> 
      <property_value>

説明

<property_name>は、プロパティの名前(たとえば、swift.service.Foo.secrets.file)です。

<property_value>は、プロパティの値(たとえば、jceks://hdfs/user/bigdatamgr/secrets.jceks)です。

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin add_krb_delegate

bda-oss-admin add_krb_delegateを使用して、Hadoop委任トークンを追加します。

構文

bda-oss-admin add_krb_delegate <options>

オプション


オプション	説明
`--proxy-user <proxy_user>`	トークンを他のユーザーに委任できるプロキシ・ユーザー。
`--proxy-groups-value <proxy_groups_value>`	プロキシ・グループの値。デフォルトは`all`です。
`--proxy-hosts-value <proxy_hosts_value>`	プロキシ・ホストの値。デフォルトは`all`です。
`--proxy-users-value <proxy_users_value>`	プロキシ・ユーザーの値。デフォルトは`all`です。
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin add_oci_cred

bda-oss-admin add_oci_credを使用して、ストレージ・プロバイダをクラスタに登録したり、プロバイダに関する詳細を変更します。

Oracle Cloud Infrastructure Object Storageプロバイダを初めて登録するには、このコマンドを使用します。別のパラメータを使用するかパラメータを減らしてコマンドを再実行し、登録を変更することもできます。一度に登録できるOracle Cloud Infrastructure Object Storageプロバイダは1つのみです。

構文

bda-oss-admin add_oci_cred [<options>]

オプション


オプション	説明
`-r [<region>]` `--region [<region>]`	URLエンドポイントの定義に使用する、オブジェクト・ストレージが存在するリージョン。たとえば、リージョンが`us-ashburn-1`の場合、ホスト名`https://objectstorage.us-ashburn-1.oraclecloud.com`が使用されます。ホスト名が定義されている場合、リージョンは使用されません。
`-H [<uri>]` `--hostname [<uri>]`	ホスト・エンドポイントのURL。たとえば、`https://objectstorage.us-ashburn-1.oraclecloud.com`です。
`-t [<tenancy_ocid>]` `--tenancy [<tenancy_ocid>]`	テナンシを識別するOracle Cloud ID (OCID)。
`-u [<user_ocid>]` `--user [<user_ocid>]`	ユーザーを識別するOCID。
`-f [<fingerprint>]` `--fingerprint [<fingerprint>]`	ストレージのSSH秘密キーのフィンガープリント。
`-l [<pem_local_path>]` `--local-key-file [<pem_local_path>]`	ストレージのSSH秘密キーを格納するローカル・ファイル。(このファイルは、`dcli`を1つのクラスタ上で実行した場合、自動的にすべてのクラスタ・ノード上の、`--key-file`オプションで定義されたファイルにコピーされます)。
`-k [<pem_cluster_path>]` `--key-file [<pem_cluster_path>]`	SSH秘密キーのパス(クラスタ上)。`--local-key-file`も参照してください)。デフォルトは、`/opt/oracle/bigdatamanager/jetty-distribution/bigdatamanager/etc/storageCreds/default_oci_api_key.pem`です。
`-p [<passphrase>]` `--passphrase [<passphrase>]`	キーに使用されるパスフレーズ(キーが暗号化されている場合)。
`-c [<compartment>]` `--compartment [<compartment>]`	ストレージ内のバケットをリストするために使用される、ストレージを含むコンパートメントのOCID。
`--proxy-uri [<proxy_uri>]`	プロキシURI (`http://proxy.domain:80`など)。
`--proxy-user [<proxy_user>]`	プロキシ・ユーザー名。
`--proxy-password [<proxy_password>]`	プロキシ・ユーザー・パスワード。
`-N` `--no-verify`	追加する前に、実際のストレージ・サービスに対してアカウントを検証しません。
`--dcli-path [<dcli-path>]`	`dcli`コマンド・パス。デフォルトのパス: `/opt/oracle/bda/bin/dcli`
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin add_proxy_user

bda-oss-admin add_proxy_userを使用して、トークンを他のユーザーに委任するためにプロキシ・ユーザーを追加します。

構文

bda-oss-admin add_proxy_user <options>

オプション


オプション	説明
`--proxy-user <proxy_user>`	トークンを他のユーザーに委任できるプロキシ・ユーザーを識別します。
`--proxy-groups-value <proxy_user>`	プロキシ・グループの値。デフォルトは`all`です。
`--proxy-hosts-value <proxy_user>`	プロキシ・ホストの値。デフォルトは`all`です。
`--proxy-users-value <proxy_user>`	プロキシ・ユーザーの値。デフォルトは`all`です。
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin add_s3_cred

bda-oss-admin add_s3_credを使用して、Amazon Web Services S3ストレージ・プロバイダをビッグ・データ・サービス・クラスタに登録します。

構文

次の構文では、わかりやすくするために改行が追加されています。コマンドの入力時には含めないでください。

bda-oss-admin add_s3_cred  
      [<options>] 
      <aws_access_key> 
      <aws_secret_key>

パラメータ


パラメータ	説明
`<aws_access_key>`	アカウントを所有するユーザーを一意に識別する英数字のテキスト文字列として指定されるユーザー名。2つのアカウントが同じAWSアクセス・キーを持つことはできません。
`<aws_secret_key>`	パスワードとして使用される文字列。これは、所有者のみが知っていることを想定しているため、シークレットと呼ばれます。AWSアクセス・キーと組み合されたAWSシークレット・キーにより、ユーザーのアイデンティティを確認するセキュアな情報セットが形成されます。

オプション


オプション	説明
`--proxy-host <proxy_host>`	プロキシ・ホストのホスト名。
`--proxy-port <proxy_port>`	プロキシ・サーバーに対して使用されるポート。
`--ssl-enabled \| --no-ssl-enabled`	S3プロバイダへのSecure Sockets Layer (SSL)接続を有効または無効にします。
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin delete_oci_cred

bda-oss-admin delete_oci_credを使用して、Hadoop構成からOracle Cloud Infrastructure Object Storage資格証明を削除します。

構文

bda-oss-admin delete_oci_cred  [<options>]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin delete_s3_cred

bda-oss-admin delete_s3_credを使用して、Hadoop構成からAmazon Web Services S3資格証明を削除します。

構文

bda-oss-admin delete_s3_cred [<options>]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin list_oci_cred

bda-oss-admin list_oci_credを使用して、Hadoop構成に格納されているOracle Cloud Infrastructure Object Storage資格証明をリストします。

構文

bda-oss-admin list_oci_cred

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin list_s3_cred

bda-oss-admin list_s3_credを使用して、Hadoop構成に格納されているAmazon Web Service S3資格証明をリストします。

構文

bda-oss-admin list_s3_cred [<options>]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin print_yarn_hadoop_env

hadoop-env.shのYARN MapReduceスニペットを表示します。

構文

bda-oss-admin print_yarn_hadoop_env [<options>]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin print_yarn_mapred_cp

bda-oss-admin print_yarn_mapred_cpを使用して、Apache YARN/MapReduceのデフォルトのclasspathを表示します。

構文

 bda-oss-admin print_yarn_mapred_cp [options]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

例

# bda-oss-admin print_yarn_mapred_cp

YARN Mapreduce Conf mapreduce_application_classpath: $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$MR2_CLASSPATH,/opt/oracle/orabalancer-2.4.0-h2/jlib/orabalancer-2.4.0.jar,/opt/oracle/orabalancer-2.4.0-h2/jlib/commons-math-2.2.jar,/opt/oracle/bda/bdcs/bdcs-rest-api-app/current/lib-hadoop/*

bda-oss-admin remove_bdcs_cp_extensions_mr

bda-oss-admin remove_bdcs_cp_extensions_mrを使用して、ビッグ・データ・サービスclasspath拡張子をMapReduce構成ファイル(mapred-site.xml)から削除します。

構文

bda-oss-admin remove_bdcs_cp_extensions_mr [options]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します

例

# bda-oss-admin remove_bdcs_cp_extensions_mr
Changes will not affect the cluster until services get restarted. See the restart_cluster command

bda-oss-admin restart_cluster

bda-oss-admin restart_clusterを使用して、クラスタを再起動します。

構文

 bda-oss-admin restart_cluster [options]

オプション


オプション	説明
`-h` `--help`	このコマンドのヘルプを表示します。

例

# bda-oss-admin restart_cluster
Restarting the cluster...
*********************
Cluster restarted successfully

bda-oss-admin set_bdcs_proxy_user

bda-oss-admin set_bdcs_proxy_userを使用して、プロキシ・ユーザーを追加します。

使用方法

これは、ビッグ・データ・サービスをブートストラップするために内部的に使用されるコマンドです。この変更を有効にするには、Hadoopサービスを再起動します。

構文

bda-oss-admin set_bdcs_proxy_user [<options>]

オプション


オプション	説明
`--bdcs-host <host>`	ビッグ・データ・サービスRESTサービスからのホスト名
`--bdcs-allowed-group <allowed_group>`	ビッグ・データ・サービスのコマンドの実行を許可されるオペレーティング・システム・グループ(たとえば、`huser, *`)
`--bdcs-user <user>`	ビッグ・データ・サービスのサービスを実行するユーザー
`-h` `--help`	このコマンドのヘルプを表示します。

bda-oss-admin update_oci_cred

bda-oss-admin update_oci_credを使用して、すでにクラスタに登録されているOracle Infrastructure Object Storageプロバイダに関する詳細を変更します。

使用方法

bda-oss-admin update_oci_credのオプションは、bda-oss-admin add_oci_credのオプションと同じです。値を変更するオプションのみを使用して、このコマンドを実行します。

bda-oss-admin update_s3_cred

bda-oss-admin update_s3_credを使用して、すでにクラスタに登録されているAmazon Web Services S3プロバイダに関する詳細を変更します。

使用方法

bda-oss-admin update_s3_credのオプションは、bda-oss-admin add_s3_credのオプションと同じです。値を変更するオプションのみを使用して、このコマンドを実行します。

Oracle Cloud Infrastructureドキュメント

bda-oss-adminを使用したストレージおよびその他の構成設定の管理

bda-oss-admin環境変数の理解

すべてのbda-oss-adminコマンドのオプションおよび環境変数

bda-oss-adminストレージ資格証明コマンドのオプションおよび環境変数

bda-oss-adminコマンド

構文

オプション

bda-oss-adminサブコマンド

構文

オプション

例

構文

オプション

構文

オプション

構文

オプション

構文

オプション

構文

パラメータ

オプション

構文

オプション

構文

オプション

構文

オプション

構文

オプション

構文

オプション

構文

オプション

例

構文

オプション

例

構文

オプション

例

使用方法

構文

オプション

使用方法

使用方法