Kafkaクライアントの作成

トピック構成を表示するには、構成を表示するトピックの名前を指定してkafka-configs.shツールを実行します。

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--entity-type topics
--entity-name $TOPIC_NAME
--describe

すべてのトピックのパーティションおよびレプリケーション情報を表示するには、kafka-configs.shツールを実行します。

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--describe | grep Factor | sort 

保存やセグメントなどのトピック構成を変更するには、構成を変更するトピックの名前を指定してkafka-configs.shツールを実行します。

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--entity-type topics
--entity-name $TOPIC_NAME
--alter
--add-config retention.ms=1, segment.ms=60000

保存やセグメントなどのトピック構成を削除するには、構成を削除するトピックの名前を指定してkafka-configs.shツールを実行します。

bin/kafka-configs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--entity-type topics
--entity-name $TOPIC_NAME
--alter
--delete-config retention.ms,segment.ms

各パーティションのディスク使用量を表示するには、kafka-log-dirs.shツールを実行し、出力ログ・ファイルへのパスを指定します。

bin/kafka-log-dirs.sh
--bootstrap-server $URL
--command-config /path/to/client.properties
--describe | tail -1 > /tmp/logdirs.output.txt

次に、次のコマンドを実行してログ・ファイルをフィルタ処理し、その内容を表示します。特定のブローカをターゲットにするようにbrokers[0]を調整します。

cat /tmp/logdirs.output.txt
  | jq -r '.brokers[0] | .logDirs[0].partitions[] | .partition + " " + (.size|tostring)' 
  | sort 
  | awk 'BEGIN {sum=0} {sum+=$2} END {print sum}'

ブローカに対してトレース・ログを有効にするには、次のプロパティを使用してファイルlog4j.propertiesを作成します。

log4j.rootLogger=TRACE, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n 

次に、次のコマンドを実行します。

export KAFKA_OPTS="-Dlog4j.configuration=file:/path/to/log4j.properties"