Ejecución de aplicaciones
Descubra cómo ejecutar las aplicaciones que ha creado en Data Flow, proporcionar valores de argumentos y parámetros, revisar los resultados y diagnosticar y ajustar las ejecuciones, incluidas las opciones de JVM.
Data Flow detiene automáticamente los trabajos por lotes de larga ejecución (más de 24 horas) mediante un token de delegación. En este caso, si la aplicación no termina con el procesamiento de los datos, es posible que se produzca un fallo de ejecución y que el trabajo permanezca sin terminar. Para evitarlo, utilice las siguientes opciones para limitar el tiempo total de ejecución de la aplicación:
- Al crear ejecuciones mediante la consola
- En Opciones avanzadas, especifique la duración en Minutos de duración máxima de ejecución.
- Al crear ejecuciones con la CLI
- Transferir opción de línea de comandos de
--max-duration-in-minutes <number> - Al crear ejecuciones mediante el SDK
- Proporcione el argumento opcional
max_duration_in_minutes - Al crear ejecuciones mediante la API
- Defina el argumento opcional
maxDurationInMinutes
Descripción de las ejecuciones
Cada vez que se ejecuta una aplicación de Data Flow se crea una ejecución de Data Flow. La ejecución de Data Flow captura y almacena de forma segura la salida, los logs y las estadísticas de la aplicación. El resultado se guarda para que lo pueda ver cualquier usuario que tenga los permisos correctos mediante la interfaz de usuario o la API de REST. Las ejecuciones también proporcionan acceso seguro a la IU de Spark para la depuración y el diagnóstico.