Paquete DBMS_DCAT

Sintaxis

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CREDENTIAL(
    credential_name VARCHAR2(128) DEFAULT NULL,
    dcat_con_id     VARCHAR2 DEFAULT NULL
  );

Parámetros

Uso

Esta credencial debe tener permisos de gestión de Data Catalog; consulte Políticas de Data Catalog. El valor por defecto es la entidad de recurso; consulte Acceso a los recursos en la nube mediante la configuración de políticas y roles.

Sintaxis

PROCEDURE DBMS_DCAT.SET_OBJECT_STORE_CREDENTIAL(
    credential_name  VARCHAR2(128),
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
  );

Parámetros

Sintaxis

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CONN (
   region         VARCHAR2 DEFAULT NULL,
   endpoint       VARCHAR2 DEFAULT NULL,
   catalog_id     VARCHAR2 DEFAULT NULL,
   dcat_con_id    VARCHAR2 DEFAULT NULL,
   catalog_type   VARCHAR2 DEFAULT NULL,
   token_endpoint VARCHAR2 DEFAULT Null
 );

Parámetros

Uso

Solo necesita llamar a este procedimiento una vez para establecer la conexión. Como parte del proceso de conexión, Autonomous AI Database agrega propiedades personalizadas a Data Catalog. Los usuarios de Data Catalog pueden acceder a estas propiedades personalizadas y permiten sustituir nombres por defecto (para esquemas, tablas y columnas) y tipos de dato de columna.

Antes de crear una conexión, se deben crear y definir credenciales. Para obtener una descripción del proceso de conexión, consulte Flujo de trabajo típico con Data Catalog para catálogos de datos de OCI y Flujo de trabajo de usuario para consultas con AWS Glue Data Catalog para catálogos de datos de AWS Glue.

Ejemplo: conexión con un OCID conocido

En este ejemplo, la base de datos de IA autónoma se conecta a Data Catalog en la región uk-london-1. El parámetro catalog_id utiliza el identificador de Oracle Cloud (ocid) para la instancia de Data Catalog. El tipo de Data Catalog se determina automáticamente: AWS Glue Data Catalog o OCI Data Catalog.

Ejemplo: conexión a un catálogo de datos de AWS Glue

Una conexión es la asociación entre una instancia de base de datos de IA autónoma y un catálogo de datos de AWS Glue. Después de una conexión correcta, la instancia de la base de datos de IA autónoma puede sincronizarse con AWS Glue. Cada cuenta de AWS tiene un catálogo de datos de AWS Glue por región y se puede acceder a cada catálogo utilizando el punto final de servicio correspondiente para cada región. Una instancia de base de datos de IA autónoma se puede asociar a un catálogo de datos de AWS Glue llamando a la API DBMS_DCAT.SET_DATA_CATALOG_CONN y especificando el punto final de la región en la que reside el catálogo.

Consulte Puntos finales y cuotas de AWS Glue.

En este ejemplo, la base de datos de IA autónoma se conecta a un catálogo de datos de AWS Glue en la región uk-london-1. Debido a que se trata de una conexión de AWS Glue Data Catalog, el parámetro catalog_id no es necesario.

Ejemplos: conexión a un catálogo REST de Databricks Unity Iceberg

En este ejemplo, Autonomous AI Database se conecta a un catálogo REST de Databricks Unity Iceberg mediante un token de acceso personal (de larga duración).

DBMS_CLOUD.create_credential('MY_DATABRICKS_CRED','username', '<personal access token>');
DBMS_DCAT.set_data_catalog_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_DATABRICKS_CRED');
DBMS_DCAT.set_object_store_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'SOMECRED');
DBMS_DCAT.set_data_catalog_conn (
  dcat_con_id  => 'ICEBERG_CATALOG',
  catalog_type => 'ICEBERG_UNITY',
  endpoint     => 'https://adb-...azuredatabricks.net/api/2.1/unity-catalog/iceberg/v1/');

En este ejemplo, Autonomous AI Database se conecta a un catálogo REST de Databricks Unity Iceberg con un principal de servicio mediante OAuth.

DBMS_CLOUD.create_credential('MY_DATABRICKS_SP_CRED','<client id for the service principal>', '<client secret for the service principal>');
DBMS_DCAT.set_data_catalog_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_DATABRICKS_SP_CRED');
DBMS_DCAT.set_object_store_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_OS_CRED');
DBMS_DCAT.set_data_catalog_conn (
  dcat_con_id    => 'ICEBERG_CATALOG',
  catalog_type   => 'ICEBERG_UNITY',
  endpoint       => 'https://adb-...azuredatabricks.net/api/2.1/unity-catalog/iceberg/v1',
  token_endpoint => 'https://adb-...azuredatabricks.net/oidc/v1/token');

Ejemplo: Conexión a un catálogo REST de Apache Polaris Iceberg

En este ejemplo, Autonomous AI Database se conecta a un catálogo REST de Apache Polaris Iceberg mediante OAuth.

DBMS_CLOUD.create_credential('MY_POLARIS_CRED','<client id>', '<client secret>');
DBMS_DCAT.set_data_catalog_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_POLARIS_CRED');
DBMS_DCAT.set_object_store_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'SOMECRED');
DBMS_DCAT.set_data_catalog_conn (
  dcat_con_id    => 'ICEBERG_CATALOG',
  catalog_type   => 'ICEBERG_POLARIS',
  endpoint       => 'https://dev-iceberg.subnet...vcn...oraclevcn.com/api/catalog/v1/quickstart_catalog',
  token_endpoint => 'https://dev-iceberg.subnet...vcn...oraclevcn.com/api/catalog/v1/oauth/tokens');

Sintaxis

PROCEDURE DBMS_DCAT.UNSET_DATA_CATALOG_CONN (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
);

Parámetros

El parámetro sync_option especifica la operación que realiza el procedimiento RUN_SYNC: SYNC, DELETE o REPLACE. La operación se realiza en entidades dentro del ámbito del parámetro synced_objects.

Cada llamada al procedimiento RUN_SYNC devuelve un único operation_id que se puede utilizar para consultar la vista USER_LOAD_OPERATIONS para obtener información sobre el estado de la sincronización y el log_table correspondiente. Se puede consultar la vista DBMS_DCAT$SYNC_LOG para acceder fácilmente a log_table para la última operación de sincronización ejecutada por el usuario actual. Para obtener más información, consulte la vista DBMS_DCAT$SYNC_LOG y Supervisión y solución de problemas de cargas.

Sincronización de Entidades Lógicas Particionadas o Tablas de Pegado

El procedimiento RUN_SYNC crea una tabla externa particionada para cada entidad lógica o tabla Glue cuando se aplican las tres de las siguientes opciones:

Para obtener un ejemplo completo de extremo a extremo de la sincronización de entidades lógicas particionadas, consulte Ejemplo: escenario de datos particionados.

Sincronización Incremental de Entidades Lógicas Particionadas/Tablas de Valores

Cada llamada al procedimiento RUN_SYNC especifica un juego de entidades lógicas del catálogo de datos de OCI o tablas de AWS Glue que se sincronizarán con la base de datos. Cuando una entidad lógica o tabla de pegado está presente en dos llamadas RUN_SYNC, la segunda llamada conserva y posiblemente modifica las tablas externas existentes. La siguiente tabla muestra qué cambios de entidad lógica o tabla de pegado están soportados cuando se particiona la entidad lógica o la tabla de pegado:

Sintaxis

PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );
PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    operation_id     OUT NOCOPY NUMBER,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );

Parámetros

Ejemplo: sincronización de todas las entidades de OCI Data Catalog

En el siguiente ejemplo, se sincronizan todas las entidades de Data Catalog.

Ejemplo: parámetro synced_objects para sincronizar todos los activos de datos de OCI Data Catalog

A continuación se muestra un parámetro synced_objects de ejemplo para sincronizar todos los activos de datos (Object Storage) en Data Catalog.

Ejemplo: parámetro synced_objects para sincronizar activos de datos específicos de OCI Data Catalog

A continuación se muestra un parámetro synced_objects de ejemplo para sincronizar dos activos de datos.

Ejemplo: parámetro synced_objects para sincronizar entidades específicas de OCI Data Catalog en un activo de datos

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar dos entidades en el activo de datos.

Ejemplo: parámetro synced_objects para sincronizar entidades y carpetas específicas de OCI Data Catalog en un activo de datos

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar dos carpetas y dos entidades dentro del activo de datos.

Ejemplo: parámetro synced_objects para sincronizar todas las bases de datos del catálogo de datos de AWS Glue

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar todas las bases de datos en el catálogo de datos de AWS Glue.

Ejemplo: parámetro synced_objects para sincronizar dos bases de datos del catálogo de datos de AWS Glue

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar dos bases de datos de AWS Glue Data Catalog.

Ejemplo: parámetro synced_objects para sincronizar tres bases de datos del catálogo de datos de AWS Glue

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar tres tablas desde una base de datos de AWS Glue Data Catalog.

Ejemplo: llame a DBMS_DCAT.run_sync para sincronizar todos los espacios de nombres en un catálogo de Iceberg

Para un catálogo Iceberg, esta llamada de ejemplo sincroniza todos los espacios de nombres:

DBMS_DCAT.run_sync(
  dcat_con_id     => 'MY_ICEBERG_CON',
  synced_objects  => '{"namespace_list" : ["*"]}',
  sync_option     => 'SYNC',     
  error_semantics => 'STOP_ON_ERROR,     
  log_level       => 'DEBUG',     
  grant_read      => 'DB_USER');

Ejemplo: Llame a DBMS_DCAT.run_sync para sincronizar todas las tablas en un espacio de nombres Iceberg y algunas tablas en otro espacio de nombres Iceberg

Para un catálogo Iceberg, esta llamada de ejemplo sincroniza todas las tablas del espacio de nombres warehouse y tres tablas del espacio de nombres ["bigdata","tpcdsparquet"]:

DBMS_DCAT.run_sync(
  dcat_con_id     => 'MY_ICEBERG_CON',
  synced_objects  => '{"namespace_list": [
                          { "namespace": ["warehouse"] },
                          { "namespace": ["bigdata", "tpcdsparquet"],
                                "table_list": [ "tpcdsparquet_customer",
                                                "tpcdsparquet_item",
                                                "tpcdsparquet_web_sales" ] } ]}',
  sync_option     => 'SYNC',    
  error_semantics => 'STOP_ON_ERROR,    
  log_level       => 'DEBUG',    
  grant_read      => 'DB_USER');

Toma como entrada el juego de objetos que se va a sincronizar, la semántica de error, el nivel de log y un intervalo de repetición. Consulte el procedimiento RUN_SYNC DBMS_DCAT para obtener más información sobre cómo funciona la sincronización.

Solo puede haber un único trabajo de sincronización. El procedimiento CREATE_SYNC_JOB falla si ya se ha especificado otro trabajo, a menos que el parámetro force se defina en TRUE. Si force se define en TRUE, se borra el trabajo anterior.

Si un trabajo del programador intenta ejecutarse mientras hay otra sincronización en curso, el trabajo del programador falla.

Sintaxis

PROCEDURE DBMS_DCAT.CREATE_SYNC_JOB (
    synced_objects   IN CLOB,
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    repeat_interval  IN VARCHAR2,
    force            IN VARCHAR2 DEFAULT 'FALSE',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
);

Parámetros

Sintaxis

PROCEDURE DBMS_DCAT.DROP_SYNC_JOB (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parámetros

Sintaxis

PROCEDURE DBMS_DCAT.DROP_SYNCED_SCHEMAS (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parámetros

Ejemplo

Cada llamada al procedimiento RUN_SYNC se registra en una nueva tabla de log, a la que apunta el campo LOGFILE_TABLE de USER_LOAD_OPERATIONS. Las tablas de log se borran automáticamente después de 2 días y los usuarios pueden borrar todos los logs de sincronización mediante el procedimiento DELETE_ALL_OPERATIONS, donde el tipo es DCAT_SYNC.

La vista DBMS_DCAT$SYNC_LOG identifica automáticamente la tabla de log más reciente. El esquema de la vista DBMS_DCAT$SYNC_LOG se describe a continuación y los permisos de acceso son idénticos a los de las tablas de log individuales. Por defecto, READ se otorga al rol dbms_dcat y al usuario ADMIN.

Las tablas de log tienen el siguiente formato: