Lustreを使用したファイル・ストレージの概要
Oracle Cloud Infrastructure(OCI)File Storage with Lustreは、AI/MLのトレーニングと推論、およびハイパフォーマンス・コンピューティングのニーズを満たすように設計されたフルマネージド・ストレージ・サービスです。
File Storage with Lustreは、オープンソースのLustreの導入、スケーリング、メンテナンスのタスクを自動化し、Lustreインフラストラクチャ管理ではなくアプリケーションに集中できるようにします。OCIは、メタデータ・サーバー、管理サーバー、ストレージ・サーバーなど、すべてのLustreサーバー・コンポーネントをデプロイおよび保守します。
オープン・ソースLustreの詳細は、Lustreの概要を参照してください。
機能
Lustreを使用したファイル・ストレージの主な機能は次のとおりです。
- パラレル分散アーキテクチャ
- File Storage with Lustreは、並列分散アーキテクチャ上に構築されており、大量のデータ・ロードを効率的に処理できます。ファイル・システムは、高速なデータ処理と高スループットを実現し、高速な集計速度を実現できます。
- 完全マネージド・サービス
- 導入とスケーリングの自動化により、ユーザーの管理が簡素化され、Lustreインフラストラクチャ・コンポーネントの設定とメンテナンスに従来関係していた複雑さが解消されます。
- AIとMLに対応した本番環境
- File Storage with Lustreは、大量のデータを処理できるため、ビッグ・データ分析と高度なAIモデルの活用を検討している組織にとって理想的な選択肢となります。
概念
- パフォーマンス
-
Lustreを使用したFile Storageには、4つのパフォーマンス層があります。
- プロビジョニングされたTB当たり125 MBps (1Gbps)
- プロビジョニングされたTB当たり250 MBps (2Gbps)
- プロビジョニングされたTB当たり500 MBps (4Gbps)
- プロビジョニングされたTB当たり1000 MBps (8Gbps)
管理者は、クライアント側のパフォーマンスの最適化を担当します。Lustre
lfs
ユーティリティは、ファイル・ストライプ化やプログレッシブ・ファイル・レイアウト(PFL)などのパフォーマンス最適化機能に使用できます。 - Lustreクライアント
-
管理者は、ファイル・システムにアクセスする必要があるGPUホストまたは他のコンピュート・ホストにLustreクライアントをデプロイします。
Lustreを使用したファイル・ストレージでは、Lustreバージョン2.15.5が使用され、次のOSに2.15.5クライアントを使用できます。
- Ubuntu 22.04 (5.15.xカーネルを使用)
- 4.8 Red Hat Compatible Kernel (RHCK)を使用したOracle Linux 8
- 5.14 Red Hat Compatible Kernel (RHCK)を使用したOracle Linux 9
詳細は、Lustre File Systemのマウントおよびアクセスを参照してください。Lustreクライアントのサポートが必要な場合は、サポートに連絡してください。
可用性
Oracleは、そのOCIサービスをリージョンおよび可用性ドメインでホストします。リージョンとは限定された地理的領域で、可用性ドメインとはそのリージョン内の1つ以上のデータ・センターです。OCI File Storage with Lustreは、次のリージョンでホストされています。
リージョン名 | リージョン識別子 | リージョン・キー |
---|---|---|
オーストラリア南東部(メルボルン) | ap-melbourne-1 | MEL |
日本中央部(大阪) | ap-osaka-1 | KIX |
ドイツ中央部(フランクフルト) | eu-frankfurt-1 | FRA |
英国南部(ロンドン) | uk-london-1 | LHR |
米国東部(アッシュバーン) | us-ashburn-1 | IAD |
米国西部(フェニックス) | us-phoenix-1 | PHX |
米国西部(サンノゼ) | us-sanjose-1 | SJC |
一部のリージョンでは、Lustreを使用したファイル・ストレージが提供されません。
使用可能なOCIリージョンの完全なリストと、関連する場所、リージョン識別子、リージョン・キーおよび可用性ドメインは、リージョンおよび可用性ドメインについてを参照してください。
認証と認可
Oracle Cloud Infrastructureの各サービスは、すべてのインタフェース(コンソール、SDKまたはCLI、およびREST API)で、OCIリソースを管理するための認証および認可のためにIAMと統合されます。
組織の管理者は、グループ、コンパートメントおよびポリシーを設定して、どのユーザーがどのサービスおよびリソースにアクセスできるかと、そのアクセス権のタイプを制御する必要があります。たとえば、ポリシーは、ユーザー、グループおよびコンパートメントを作成できるユーザー、または仮想デプロイメントを作成および管理できるユーザーを制御します。
- 初めて管理者になった場合は、ポリシーの開始を参照してください。
- このサービスのポリシーの記述の詳細は、Lustreポリシーを使用したファイル・ストレージを参照してください。
- 他のサービスのリソースのポリシー記述の詳細は、ポリシー・リファレンスを参照してください。
セキュリティ
セキュリティ情報および推奨事項については、LustreによるOracle Cloud Infrastructure File Storageの保護を参照してください。
Oracle Cloud Infrastructureへのアクセス方法
File Storageには、コンソール(ブラウザベースのインタフェース)、Oracle Cloud Infrastructure CLIまたはREST APIを使用して、Lustreリソースを使用してアクセスできます。コンソールにアクセスするには、サポートされているブラウザを使用する必要があります。
このガイドでは、3つすべての方法の手順について説明します。
- OCIコンソールは、使いやすいブラウザベースのインタフェースです。コンソールにアクセスするには、サポートされているブラウザを使用する必要があります。
- REST APIでは、ほとんどの機能が提供されます。ただしプログラミングの専門知識が必要です。エンドポイントの詳細と、Lustre APIを使用したファイル・ストレージなど、使用可能なAPIリファレンス・ドキュメントへのリンクは、APIリファレンスとエンドポイントを参照してください。
- OCIは、LustreでFile Storageと対話するSDKを提供します。
- コマンド・ライン・インタフェース(CLI)では、クイック・アクセスとフル機能の両方が提供されます。プログラミングは必要ありません。
- OCI CLIまたはREST APIを使用するには、環境を設定するか、Oracle Cloud Infrastructure Cloud Shellを使用します。
- クラウド・シェルでCLIまたはREST APIを使用するには、コンソールにサインインします。クラウド・シェルの使用およびCLIコマンド・リファレンスを参照してください。
- 環境にOCI CLIをインストールするには、CLIのインストール・クイックスタートのステップに従います。
- REST APIを使用する場合は、REST APIドキュメントおよびAPIリファレンスとエンドポイントを参照してください。
Lustreリソースを使用したファイル・ストレージの制限
適用可能な制限のリストと制限拡大をリクエストする手順は、Lustre制限のあるファイル・ストレージおよびサービス制限を参照してください。
ファイル・システムにコンパートメント固有の制限を設定するには、管理者はコンパートメント割当て制限の概要を使用できます。