Spark 3.5.0へのデータ・フローの移行
データ・フローをSpark 3.5.0の使用に移行するには、次のステップに従います。
Delta Lakes 3.1.0でデータ・フローを使用し、Condaパックと統合するには、データ・フローでバージョン3.5.0以上のSparkを使用する必要があります。
Spark 3.5.0にアップグレードするには、Spark 3.5.0移行ガイドの手順に従います。
「データ・フローを開始する前に」でサポートされているバージョンの情報に加え、Spark 3.5.0およびSpark 3.2.1のデータ・フローでサポートされている最小バージョンのみが含まれます。
ノート
Spark 3.5.0に移行する前に、Spark 3.2.1にリストされているバージョンを使用してアプリケーションを構築します。
Spark 3.5.0に移行する前に、Spark 3.2.1にリストされているバージョンを使用してアプリケーションを構築します。
| ライブラリ | Spark 3.5.0 | Spark 3.2.1 |
|---|---|---|
| Python | 3.11.5 | 3.8.13 |
| Java | 17.0.10 | 11 |
| Hadoop (最小バージョン) | 3.3.4 | 3.3.1 |
| Scala | 2.12.18 | 2.12.15 |
| oci-hdfs (最小バージョン) | 3.3.4.1.4.2 | 3.3.1.0.3.2 |
| oci-java-sdk (最小バージョン) | 3.34.1 | 2.45.0 |
ノート
デフォルトでは、OCI Java SDKはApacheConnectorを使用します。次の設定でJersey HttpurlConnectorに切り替えます。
デフォルトでは、OCI Java SDKはApacheConnectorを使用します。次の設定でJersey HttpurlConnectorに切り替えます。
spark.executorEnv.OCI_JAVASDK_JERSEY_CLIENT_DEFAULT_CONNECTOR_ENABLED=true
spark.driverEnv.OCI_JAVASDK_JERSEY_CLIENT_DEFAULT_CONNECTOR_ENABLED=true