Oracle Cloud Infrastructureドキュメント

ファイル・ストレージとの間のデータの転送

Oracle Cloud Infrastructure (OCI) File Storageの一般的なユース・ケースの多くには、大量のデータの転送が含まれています。データ転送の起点、宛先および方向に基づいて、転送を実行するための最適な方法は異なる場合があります。

次の表に、オンプレミス・データの移行、あるリージョンから別のリージョンへのFile Storageデータのコピー、リージョン内のFile Storageデータのコピー、Object StorageへのFile Storageデータのコピーなど、一般的なFile Storageデータ転送シナリオに関する推奨事項を示します。

OCIとオンプレミス・データ間のプライベート接続の一般情報は、FastConnectおよびサイト間VPNを参照してください。

ファイル・ストレージのデータ転送シナリオ
データの転送元... 宛先... 推奨される方法 前提条件および考慮事項
オンプレミス・ストレージ OCI上のファイル・ストレージ

Linuxユーザーは、インスタンス間ストリーミングおよびfpsyncツールを使用できます。

Windowsユーザーは、OCI Oracle LinuxインスタンスでWindowsオンプレミス・ファイル共有を共通インターネット・ファイル・システム(CIFS)共有としてマウントし、fss-parallel-toolsやfpsyncなどのコピー・ツールを使用してデータを転送できます。

詳細は、ファイル・ストレージへのオンプレミス・データの転送を参照してください。

ソース・インスタンスと宛先インスタンスの間にネットワーク接続が確立されていることを確認します。
OCI File Storage 別のリージョンのファイル・ストレージ

ユースケースの詳細に応じて、次のいずれかの方法を使用します:

  1. ファイル・システム・レプリケーションを使用します。詳細は、データ転送でのレプリケーションの使用を参照してください。

  2. インスタンス間ストリーミングおよびfpsyncツールを使用します。詳細は、インスタンス間ストリーミングを使用したファイル・ストレージ・データの転送を参照してください。

レプリケーションを使用する場合は、レプリケーションの制限事項および考慮事項を参照してください。

インスタンス間ストリーミングを使用する場合は、ソース・インスタンスと宛先インスタンスの間でネットワーク接続が確立されていることを確認します。
OCI File Storage 同じ可用性ドメイン内のファイル・ストレージ

ユースケースの詳細に応じて、次のいずれかの方法を使用します:

  1. ファイル・システム・レプリケーションを使用します。詳細は、データ転送でのレプリケーションの使用を参照してください。

  2. データを転送するには、一連のパラレル・ツールでparcpコマンドを使用します。

    ファイル・ストレージのパラレル・ツールの使用のparcpの使用例、特にrsyncの有効な代替手段としてparcpを使用する方法を参照してください。

レプリケーションを使用する場合は、レプリケーションの制限事項および考慮事項を参照してください。

parcpを使用する場合は、ソース・ファイル・システムと宛先ファイル・システムの両方がインスタンスにマウントされていることを確認します。
OCI File Storage OCIオブジェクト・ストレージ

rcloneを使用します。詳細は、rcloneを使用したオブジェクト・ストレージへのスナップショット・バックアップを参照してください。

インスタンスはObject Storageバケットに接続できる必要があります。

ファイル・ストレージへのオンプレミス・データの転送

大量のデータをオンプレミス・ストレージからOCI File Storageに転送する場合、LinuxおよびWindowsユーザーには、次のシナリオが有効であることが実証されています。これらは、すべての環境に適用できるわけでも、すべての要件を満たすわけでもない場合があります。

Linuxユーザー用

fpsyncツールを使用して、OCI File Storageへのオンプレミス・データの初期コピーを実行します。その後、fpsyncはソースに存在しない宛先のファイルおよびフォルダを削除できないため、rsyncを使用して増分データ変更を同期できます。

fpsyncツールは、rsyncのパラレル・ラッパーです。Linuxユーザーは、yumリポジトリからfpsyncをダウンロードできます。コマンドは、Linuxのバージョンによって異なります。

  1. リポジトリからダウンロードします。

    Linux 8ユーザーは、次のコマンドを使用してツールをダウンロードできます。

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm

    Linux 9ユーザーは、次のコマンドを使用してツールをダウンロードできます。

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-9.noarch.rpm
  2. ツールをインストールします。
    sudo yum install fpart -y

データ転送を開始する前に、次の前提条件を完了します。

  • オンプレミス・データ・ソースとOCIの間でネットワーク接続が確立されていることを確認します。FastConnectまたはサイト間VPN接続を使用して、SSHを介したインスタンス間高速ストリーミングを有効にします。
  • OCIでOracle Linuxインスタンスを作成します。
  • オンプレミス・ストレージ共有をLinuxサーバーにアタッチまたはマウントします。専用インスタンスをお薦めします。

このシナリオでは、初期コピーでfpsyncを使用することをお薦めします。fpsyncには--deleteオプションがないため、後で増分同期ではrsyncが使用されます。

  1. Oracle Linuxインスタンスにファイル・システムをマウントします。
  2. ソース共有がアタッチまたはマウントされているオンプレミスLinuxサーバーから次のコマンドを実行して、初期コピーを実行します: 
    fpsync -vv -n `nproc` -f 2000 -o "-arxH --progress --log-file fpsync.log -e ssh" /<source>/ <user>@<oci_linux_instance>:/file_storage_destination/
  3. (オプション)特定の日付まで増分同期を実行する必要がある場合は、次のrsyncコマンドをcronジョブとしてスケジュールできます: 
    rsync -arxH --delete --progress --log-file rsync.log -e ssh" /source/ <user>@<oci_linux_instance>:/file_storage_destination/
fpsyncオプションの詳細は、fpsyncのマニュアルページを参照してください。

Windowsユーザーの場合

ファイル・ストレージへのラージ・データ・コピーには、Windowsのコピー・ユーティリティを使用しないでください。かわりに、OCI Linuxインスタンスを使用して、OCI Linuxインスタンスに付属のパラレル・ツールを使用して大規模なコピーを実行します。Windows共有を共通インターネット・ファイル・システム(CIFS)共有としてマウントし、parcpやfpsyncなどのコピー・ツールを使用してデータを転送します。

SMBプロトコルとファイル・ストレージで使用されるNFSプロトコルには互換性がないため、NFSファイル・システムとSMB共有の両方をマウントできるインスタンスを使用してそれらの間にブリッジが作成されます。

  1. Oracle Cloud Infrastructureで、ファイル・ストレージ・ファイル・システムとWindows SMB共有の両方へのネットワーク・アクセスがあるLinuxインスタンスを識別または作成します。
  2. インスタンスでターミナルを開きます。

  3. 次のように入力してCommon Internet File System (CIFS)ユーティリティをインストールし、そのインストールを確認します:

    $sudo yum install -y cifs-utils
$rpm -qa|grep cifs

  4. Windows SMB共有をCIFS共有としてマウントします

    1. マウント・ポイント・ディレクトリを作成します。例:

      sudo mkdir /mnt/win_share

    2. CIFS共有をマウントします:

      sudo mount -t cifs -o username=<win_share_user> //<win_IP_address/hostname>/<share_name> /mnt/<win_share_dir>

      例: 

      $sudo mount -t cifs -o username=opc //win2012/c /mnt/win_share
  5. ファイル・ストレージのパラレル・ツール・スイートのparcpユーティリティまたはfpsyncを使用して、CIFS共有からマウント済ファイル・システムにファイルをコピーします。parcpに関するインストール情報は、ファイル・ストレージのパラレル・ツールの使用を参照してください。fpsyncの詳細は、fpsyncのマニュアル・ページを参照してください。

    例:

    parcp -P 32 /mnt/win_share /mnt/MyFilesystem
    fpsync -v -n 8 -f 101 -o "-lptgoD -v --numeric-ids -e ssh" /mnt/win_share /mnt/MyFilesystem

インスタンス間ストリーミングを使用したファイル・ストレージ・データの転送

fpsyncツールは、rsyncのパラレル・ラッパーです。fpsyncおよびインスタンス間ストリーミングを使用して、マウントされたファイル・ストレージ・ファイル・システム間でデータを転送できます。

fpsyncをインストールするには、次のようなコマンドを使用して、fpsyncユーティリティを含むOracle Linux開発者リポジトリをOCIインスタンスで有効にします。コマンドは、使用中の Oracle Linuxのバージョンによって異なります。

yum --enablerepo ol7_developer_EPEL install -y fpart
yum --enablerepo ol8_developer_EPEL install -y fpart

ツールのインストール後、次のようなインスタンス間ストリーミング・コマンドを使用してデータをストリーミングします:

fpsync -o "-e ssh --progress" /<fss_src_region>/test <ssh_user>@<remote_ip>:/<fss_dest_region>/

詳細およびオプションについては、fpsyncのマニュアルページを参照してください。

2つのアプローチのパフォーマンスの違いを示す例を次に示します:

# date; time fpsync -o "-e ssh --progress --log-file ~/speedtest.log" /fss_src_bom/test root@DR_hyd:/fss_dest_hyd/ ; date
Sun Mar 13 15:22:58 GMT 2022

real 0m1.467s
user 0m0.111s
sys 0m0.075s
Sun Mar 13 15:23:00 GMT 2022

# ls -ltrd test
drwxr-xr-x. 2 root root 1 Mar 13 15:22 test
# du -sh test
1001M test
# cp -r test test1

# date; time fpsync -o "--progress --log-file ~/speedtest1.log" /fss_src_bom/test1 /fss_dest_hyd/ ; date
Sun Mar 13 15:25:16 GMT 2022

real 1m28.847s
user 0m3.688s
sys 0m1.439s
Sun Mar 13 15:26:44 GMT 202