Data Flow soporta pools

Un pool de flujos de datos es un grupo de recursos informáticos preasignados que se pueden utilizar para ejecutar cargas de trabajo de Spark basadas en Data Flow con un tiempo de inicio más rápido.

Casos de uso: • Cargas de trabajo de producción grandes sensibles al tiempo con muchos ejecutores, que necesitan un tiempo de inicio más rápido en segundos. • Las cargas de trabajo de producción críticas no se ven afectadas por las cargas de trabajo de desarrollo dinámico porque sus recursos se pueden asignar desde diferentes grupos. • Separación de costos y uso entre las cargas de trabajo de desarrollo y producción con políticas de IAM que le permiten enviar Flujo de datos específico se ejecuta en agrupaciones específicas. • Ejecute un gran número de ejecuciones de flujo de datos consecutivas con menos tiempo de inicio. • Colocación de ejecuciones de flujo de datos en un pool para un uso eficiente de los recursos y el control de costos. • Inicio automático de un pool basado en un programa; terminación automática basada en tiempo de inactividad.

Para obtener más información, consulte la documentación de Data Flow Service Limits.