Data Flow zu Spark 3.5.0 migrieren
Führen Sie die folgenden Schritte aus, um Data Flow zu Spark 3.5.0 zu migrieren.
Um Data Flow mit Delta Lakes 3.1.0 zu verwenden und in Conda Pack zu integrieren, müssen Sie mindestens die Spark-Version 3.5.0 mit Data Flow verwenden.
Befolgen Sie die Anweisungen in der Spark 3.5.0-Migrationsdokumentation, um ein Upgrade auf Spark 3.5.0 durchzuführen.
Neben den Informationen zu unterstützten Versionen in Vorbereitung für Data Flow sind die folgenden Library-Versionsversionen, die von Data Flow mit Spark 3.5.0 und mit Spark 3.2.1 mindestens und nur unterstützte Versionen enthalten.
Hinweis
Erstellen Sie Anwendungen mit den für Spark 3.2.1 aufgeführten Versionen, bevor Sie zu Spark 3.5.0 migrieren.
Erstellen Sie Anwendungen mit den für Spark 3.2.1 aufgeführten Versionen, bevor Sie zu Spark 3.5.0 migrieren.
| Library | Spark 3.5.0 | Spark 3.2.1 |
|---|---|---|
| Python | 3,11 | 3.8.13 |
| Java | 17 | 11 |
| Hadoop (Mindestversion) | 3,3 | 3.3.1 |
| Scala | 2,12 | 2.12.15 |
| OCI-hdfs (Mindestversion) | 3.3.4.1.4.2 | 3.3.1.0.3.2 |
| oci-java-sdk (Mindestversion) | 3,34 | 2,45 |
Hinweis
Standardmäßig verwendet das OCI-Java-SDK die ApacheConnector. Wechseln Sie mit den folgenden Einstellungen zum Jersey HttpurlConnector:
Standardmäßig verwendet das OCI-Java-SDK die ApacheConnector. Wechseln Sie mit den folgenden Einstellungen zum Jersey HttpurlConnector:
spark.executorEnv.OCI_JAVASDK_JERSEY_CLIENT_DEFAULT_CONNECTOR_ENABLED=true
spark.driverEnv.OCI_JAVASDK_JERSEY_CLIENT_DEFAULT_CONNECTOR_ENABLED=true