ビッグ・データ・サービスの既知の問題
ビッグ・データ・サービスでは、既知の問題が確認されています。
Apache Ambariでワイルドカード文字を指定すると、Hiveデータベースの同期タスクが失敗します
- 詳細
- Oracle Distribution including Apache Hadoopを使用するビッグ・データ・サービス・クラスタで、Apache Ambariを使用して
Synchronize Hive Databasesプロパティにワイルドカード文字*を指定してハイブ・データベースを同期すると、Hiveメタデータの同期に失敗したことを示すエラーが表示されます。 - 回避策
- オラクル社では問題を認識しており、解決に取り組んでいます。当面は、
「Synchronize Hive Databases」プロパティにはワイルドカード文字*を使用せず、同期化するHiveデータベースをカンマ区切りの空白なしリストとして明示的に指定してください。例: db1、db2。
Kafkaブローカの再起動に失敗する
- 詳細
- Kafkaブローカの再起動中に、Kafkaブローカが起動に失敗することがあります。
- 回避策
.lockファイルを手動で削除します。- 障害が発生したブローカ・ノードにSSH接続します。
- 実行:
rm rf /u01/kafka-logs/.lock
Ranger-Sparkポリシーのダウンロード試行中に401エラーでSparkジョブが失敗することがある
- 詳細
- Ranger-Sparkプラグインが有効なビッグ・データ・サービスHAクラスタで、クラスタ・モードで
spark-submitコマンドを使用してHive表に対する操作を試行すると、Ranger-Sparkポリシーのダウンロードを試行中に、Sparkジョブが401エラーで失敗することがあります。この問題は、Ranger側の既知の委任トークンの問題から発生します。 - 回避策
- ユーザーのキータブとプリンシパルを
spark-submitコマンドに含めることをお薦めします。このアプローチにより、Sparkは指定されたkeytabおよびプリンシパルを認証に使用し、委任トークンに依存せずにRangerと通信してポリシーをダウンロードできます。例:
spark-submit --master yarn --deploy-mode cluster --name SparkHiveQueryJob --keytab <keytab-path> --principal <keytab-principal> --class com.oracle.SparkHiveQuery ./SparkTests-1.0-SNAPSHOT.jarノート
- 指定されたユーザー(keytabユーザー/プリンシパル)には、Rangerポリシーおよびタグをダウンロードするために必要な権限が必要です。これらの権限は、Ranger-admin UIを使用して構成できます。
Rangerで、Sparkリポジトリの「編集」をクリックし、「新規構成の追加」セクションに移動します。指定したユーザーがpolicy.download.auth.usersリストとtag.download.auth.usersリストの両方に追加されていることを確認します。そうでない場合は、ユーザーを追加して保存します。
例:
スパーク、jupyterhub、hue、livy、trino
- 必要な表にアクセスするために、Ranger-Sparkポリシーの同じユーザーに必要な権限を付与します。
Rangerプラグインの詳細は、「Rangerプラグインの使用」を参照してください。
- 指定されたユーザー(keytabユーザー/プリンシパル)には、Rangerポリシーおよびタグをダウンロードするために必要な権限が必要です。これらの権限は、Ranger-admin UIを使用して構成できます。