dedup
dedupコマンドを使用して、sortコマンドで生成された検索順序に基づいて、フィールド値の同じ組合せを含む結果を削除します。
構文
dedup <dedup_options> <field_name> [, <field_name>, ...]パラメータ
次の表に、このコマンドで使用されるパラメータとその説明を示します。
| パラメータ | 説明 |
|---|---|
|
|
重複をチェックする必要があるフィールドを指定します。 |
|
|
構文: [count = <count>][includenulls = [true|false]] [consecutive = [true|false]]
|
次の問合せは、クライアント・ホストの都市とIPの一意の組合せごとにログをグループ化し、各グループのコンテンツ・サイズの合計を計算し、各グループをコンテンツ・サイズの降順でソートし、最後にクライアント・ホストの都市の重複行を削除します。これにより、各クライアント・ホスト都市の最大コンテンツ・サイズに対応する行のみが効果的に保持されます。
* | stats sum('Content Size') as 'Content Size' by 'Client Host City', 'Source IP'
| sort -'Content Size'
| dedup 'Client Host City'前述の問合せでは、結果のレコード表にClient Host City、Source IPおよびContent Sizeという3つの列があります。
dedupオプションcount = 2を指定すると、Client Host Cityと同じ値を持つ2行を使用できます。
dedupオプションincludenulls = trueを指定すると、Client Host City値がnullの行が含まれます。
dedupオプションconsecutive = trueを指定すると、Client Host Cityの連続する値が同じ行のみが削除されます。