ノートブック・セッションでのConda環境のインストール
ノートブック・セッションでconda環境を使用するには、それらをインストールする必要があります。
環境カードで「インストール」をクリックすると、データ・サイエンスまたは公開されたconda環境のいずれかをインストールできます。ターミナル・ウィンドウでコード・スニペットをコピーして実行できます。新しい環境は、/home/datascience/conda
フォルダのブロック・ボリュームにインストールされます。/home/datascience/conda
内のフォルダは、conda環境のslugs
に対応します。
環境をノートブック・カーネルとして使用できるようになった後、新しい環境エントリが「環境エクスプローラ」タブの「インストールされたConda環境」タブにリストされます。次に、その特定のconda環境用の新しいカーネルが、JupyterLabの「ランチャ」タブの「ノートブック」カテゴリで使用可能になります。環境カーネル・アイコンをクリックして新しいタブを開き、新しいノートブック・ファイルを開くことで、そのconda環境で作業を開始できます。
または、「ファイル」をクリックし、「新規」を選択し、ノートブック・セッションのカーネルを選択することで、新しいノートブックを開くことができます。
インストールされたすべてのconda環境は
/home/datascience
のブロック・ボリュームに格納されるため、セッションがアクティブ化された後、これらの環境が使用可能になります。ノートブック・セッションを非アクティブ化した後、conda環境を再インストールする必要はありません。 JupyterLabターミナル・ウィンドウのタブでodsc conda
コマンドを使用して、conda環境をインストールします:
odsc conda install --slug <slug>
<slug>
は、インストールする環境のスラグです。スラグは、「環境エクスプローラ」タブの環境カードにリストされます。環境のバージョンを変更するようにプロンプトが表示されます(オプション)。新しいカーネルがJupyterLabの「ランチャ」タブに表示されるまで数秒かかることがあります。
デフォルトでは、odsc conda
は、<slug>
値または<name>
および<version>
に一致するデータ・サイエンスconda環境を検索します。公開されたconda環境をホストしているオブジェクト・ストレージ・バケットをターゲットにするには、--override
オプションを追加します。odsc conda init
によって作成されたカスタムconfig.yaml
ファイルに定義されたバケット内のターゲットconda環境を検索します。例:
odsc conda install --override --slug <slug>
odsc conda install -h
を使用して、サポートされているすべてのインストール・オプションをリストします。
tarファイルを使用してConda環境をインストールすることもできます。tarファイルのURIを --uri
オプションで指定します。ローカル・パス、PARリンクまたはOCIリンクを指定できます。
- ローカル・ファイルからのインストール:
-
odsc conda install --uri
<path_to_the_local_environment_tar_file>
- PARリンクを使用したインストール:
-
odsc conda install --uri
<http_link_to_the_environment_tar_file>
- リソース・プリンシパル認証を使用したOCIリンクを使用したインストール:
-
odsc conda install --uri
<oci://my-bucket@my-namespace/path_to_tar_file>
ベース環境(Python 3)へのライブラリのインストールは、ノートブックの再アクティブ化後に永続化されないため、お薦めしません。基本環境をクローニングし、そこにライブラリをインストールすることがベスト・プラクティスです。
PySpark Conda環境のアップグレード
これらのステップは、古いバージョンのPySpark conda環境をインストールし、将来使用できるように保存する場合にのみ必要です。古い環境が不要で、Sparkの特定の構成を作成していない場合は、新しいバージョンのインストールを続行する前に古い環境を削除することをお薦めします。
- PySpark conda環境の更新の準備:
- データ・サイエンス・ノートブック・セッションを開きます。
-
ホーム・ディレクトリで
spark_conf_dir
ディレクトリを検索し、その名前をspark_conf_dir_v2
に変更します。名前変更アクションにより、pyspark32_p38_cpu_v2環境が一時的に無効になります。spark_conf_dir_v2
の名前をspark_conf_dir
に戻すと、pyspark32_p38_cpu_v2が再び動作可能になります。
- Pyspark conda環境の更新:
-
端末を開き、コマンドを実行します。
odsc conda install -s pyspark32_p38_cpu_v3
このコマンドは、V3 conda環境をインストールし、新しい
spark_conf_dir
ディレクトリを作成します。
-
- 構成変更の確認:
-
core-site.xml
またはspark-defaults.conf
の変更など、古いspark_conf_dir_v2
構成にカスタム変更を加えた場合は、これらの変更が新しいspark_conf_dir_v2
ディレクトリのそれぞれのファイルにコピーされていることを確認します。
-