dedup
dedupコマンドを使用して、sortコマンドで生成された検索順序に基づいて、フィールド値の同一の組合せを含む結果を削除します。
構文
dedup <dedup_options> <field_name> [, <field_name>, ...]パラメータ
次の表に、このコマンドで使用されるパラメータとその説明を示します。
| パラメータ | 説明 |
|---|---|
|
|
重複をチェックする必要がある値を持つフィールドを指定します。 |
|
|
構文: [count = <count>][includenulls = [true|false]] [consecutive = [true|false]]
|
次の問合せでは、クライアント・ホスト市区町村とIPの一意の組合せごとにログがグループ化され、各グループのコンテンツ・サイズの合計が計算され、各グループがコンテンツ・サイズの降順でソートされ、最後にクライアント・ホスト市区町村の重複行が削除されます。これにより、各クライアント・ホスト都市の最大コンテンツ・サイズに対応する行のみが効果的に保持されます。
* | stats sum('Content Size') as 'Content Size' by 'Client Host City', 'Source IP'
| sort -'Content Size'
| dedup 'Client Host City'前述の問合せでは、結果のレコード表には3つの列Client Host City、Source IPおよびContent Sizeがあります。
dedupオプションcount = 2を指定すると、Client Host Cityの値が同じ2行が使用可能になります。
dedupオプションincludenulls = trueを指定すると、Client Host City値がNULLの行が含まれます。
dedupオプションconsecutive = trueを指定すると、Client Host Cityの連続する値が同じ行のみが削除されます。