クラウドSQL問合せ処理

述語プッシュダウンを有効にするために必要なデータ型

述語プッシュダウンでは、Hiveデータ型とOracleデータ型との間でなんらかのマッピングが必要になります。これらのマッピングについては、次の表で説明します。

クラウドSQLでは、次のサイズ制約内でCLOBの処理をHadoopにプッシュ・ダウンできます:

• フィルタできるCLOB列のサイズは最大1MBです。

  ストレージ・サーバーでの評価に利用できるデータの実際の量は、使用する文字セットに応じて異なることがあります。

• 解析できる列は最大32KBです。

  この制限は、CLOBデータ型のストレージからの選択リスト・プロジェクションを対象とします。

列サイズがこの2つの値を超えた場合にのみ、処理がOracle Databaseにフォールバックします。

5つの主要なセルのXTおよびストレージ索引統計

問合せがオフロード可能な場合、次のXT関連の統計が、どのようなI/Oの節約をオフロードおよびスマート・スキャンから期待できるかを判断するために役立ちます。

• 述語のオフロードが要求されたセルXTグラニュル

  リクエストされるグラニュルの数は、HDFSブロック・サイズ、Hadoopデータ・ソースの分割可能性、Hiveパーティションの消去の有効性など、多数の要因によって異なります。

• 述語オフロードでリクエストされたセルXTグラニュル・バイト

  スキャンでリクエストされたバイト数。これは、Hiveパーティションの消去後およびストレージ索引の評価前に調査されるHadoop上のデータのサイズです。

• セル相互接続バイト数がXTスマートスキャンによって返されました

  XTスマート・スキャンによってOracle Databaseに返されたI/Oのバイト数。

• セルXTグラニュル述語のオフロード・リトライ

  DataNode上で実行されているクラウドSQLプロセスが、リクエストされたアクションを完了できなかった回数。クラウドSQLは、データのレプリカを持つ他のDataNode上で、失敗したリクエストを自動的に再試行します。再試行の値はゼロになります。

• セルXTグラニュルIOバイトがストレージ索引に保存されました

  ストレージ・セル・レベルでストレージ索引によってフィルタで除外されたバイト数。これは、ストレージ索引によって提供される情報に基づいて、スキャンされなかったデータです。

これらの統計は、次のように、問合せを実行する前と実行した後に確認できます。この例は、問合せを実行する前の、nullの値を示しています。

SQL> SELECT sn.name,ms.value 
FROM V$MYSTAT ms, V$STATNAME sn 
WHERE ms.STATISTIC#=sn.STATISTIC# AND sn.name LIKE '%XT%'; 

NAME                                                      VALUE
-----------------------------------------------------     -----
cell XT granules requested for predicate offload          0 
cell XT granule bytes requested for predicate offload     0
cell interconnect bytes returned by XT smart scan         0 
cell XT granule predicate offload retries                 0
cell XT granule IO bytes saved by storage index           0 

これらの統計の一部またはすべてを問合せの実行後にチェックして、次のように、問合せの有効性をテストできます:

SQL> SELECT n.name, round(s.value/1024/1024) 
FROM v$mystat s, v$statname n
WHERE s.statistic# IN (462,463)
AND s.statistic# = n.statistic#;

cell XT granule bytes requested for predicate offload  32768
cell interconnect bytes returned by XT smart scan   32

5つの集計オフロード統計

次の統計は、集計オフロードのパフォーマンスを分析する際に役立ちます。

• vector group by operations sent to cell

  集計をセルにオフロードできる回数。

• vector group by演算がセルに送信されません。

  大きなワイヤフレームのためにオフロードされなかったスキャンの数。

• vector group by rows processed on cell

  セルで集計された行の数。

• vector group by rows returned by cell

  セルによって返された集計行の数。

• vector group by rowsets processed onセル

  セルで集計された行セットの数。

これらの統計は、次のような問合せを実行することで確認できます:

SQL> SELECT count(*) FROM bdsql_parq.web_sales;

  COUNT(*)
----------
 287301291

SQL> SELECT substr(n.name, 0,60) name, u.value
FROM v$statname n, v$mystat u
WHERE ((n.name LIKE 'key vector%') OR
       (n.name LIKE 'vector group by%') OR
       (n.name LIKE 'vector encoded%') OR
       (n.name LIKE '%XT%') OR
       (n.name LIKE 'IM %' AND n.name NOT LIKE '%spare%'))
      AND u.sid=userenv('SID')
      AND n.STATISTIC# = u.STATISTIC#
      AND u.value > 0;


NAME                                                      VALUE
-----------------------------------------------------     -----
cell XT granules requested for predicate offload          808 
cell XT granule bytes requested for predicate offload     2.5833E+10
cell interconnect bytes returned by XT smart scan         6903552 
vector group by operations sent to cell                   1
vector group by rows processed on cell                    287301291
vector group by rows returned by cell                     808

9つのキー・ベクター統計

次の統計は、セルに送信されたキー・ベクターの有効性を分析するために役立ちます。

• キー・ベクターがセルに送信されました

  セルにオフロードされたキー・ベクターの数。

• key vector filtered on cell

  セルのキー・ベクターによってフィルタで除外された行の数。

• キー・ベクトルがセルでプローブされました

  セルのキー・ベクターによってテストされた行の数。

• キー・ベクトル行が値によって処理されました

  値を使用して処理された結合キーの数。

• キー・ベクトル行がコードで処理されました

  ディクショナリ・コードを使用して処理された結合キーの数。

• キー・ベクトル行がフィルタされました

  スキップ・ビットのためにスキップされた結合キーの数。

• キー・ベクトルの直列化(ライト・モード、セル)

  フォーマットまたはサイズのためにキー・ベクターがエンコードされなかった回数。

• 鍵ベクトルが、割り当て制限のためにliteモードのセルに送信されました

  1MBのメタデータ割当てのために非完全フィルタリングのセルにオフロードされたキー・ベクターの数。

• キー・ベクトル・フィルタが作成されました

  キー・ベクターはセルに送信されませんでしたが、(ブルーム・フィルタに似た) efilterが送信されました。

これらの統計は、次のような問合せを実行することで確認できます:

SELECT substr(n.name, 0,60) name, u.value
FROM v$statname n, v$mystat u
WHERE ((n.name LIKE 'key vector%') OR
       (n.name LIKE 'vector group by%') OR
       (n.name LIKE 'vector encoded%') OR
       (n.name LIKE '%XT%'))
      AND u.sid=userenv('SID')
      AND n.STATISTIC# = u.STATISTIC#


NAME                                                      VALUE
-----------------------------------------------------     -----
cell XT granules requested for predicate offload          250 
cell XT granule bytes requested for predicate offload     61,112,831,993
cell interconnect bytes returned by XT smart scan         193,282,128 
key vector rows processed by value                        14,156,958
key vector rows filtered                                  9,620,606
key vector filtered on cell                               273,144,333
key vector probed on cell                                 287,301,291
key vectors sent to cell                                  1
key vectors sent to cell in lite mode due to quota        1
key vector serializations in lite mode for cell           1
key vector efilters created                               1