Oracle Cloud Infrastructureドキュメント

データ・カタログ・メタストアの設定

データ・フローは、非構造化データおよび半構造化データのスキーマ定義が格納されるデータ・カタログ・メタストアと統合されています。

テナンシごとに作成できるのは1つのメタストアのみです。この制約により、メタデータの信頼できる唯一の情報源が確保されます。データ・カタログ・メタストアを作成する場合は、オブジェクト・ストレージのmanaged-table-bucketの場所とexternal-table-bucketの場所の両方を指定します。これらの2つの場所は、ベスト・プラクティスとして異なるままにしておきます。メタストアは、管理対象表のデータを所有していると想定します。外部表の場合、Hive互換メタストアは基礎となるデータを管理または所有しません。そのため、管理対象表のデータとメタデータの両方をDROPTABLEを削除するなどの操作では、外部表のメタデータのみが削除されます。

メタストアがない場合は、データ・フローで使用するメタストアを作成します。
    1. コンソールのナビゲーション・メニューから、「データ・カタログ」を選択します。
    2. 「データ・カタログ」ページで、「メタストア」を選択します。
    3. 「メタストアの作成」を選択します。
    4. 「コンパートメントに作成」で、dataflow-compartmentを選択します。
    5. リージョンごとに許可されるメタストアは1つのみであるため、テナンシ内のすべてのユーザーに適した名前を入力します。
    6. 「デフォルトの管理対象表の場所」に、oci://managed-table-bucket@<your_objectstore_namespace>という形式を使用して、managed-table-bucketへのパスを入力します。
      たとえば、問題のネームスペースがbigdatasciencelargeの場合は、oci://managed-table-bucket@bigdatasciencelargeと入力します。
    7. 「デフォルトの外部表の場所」に、oci://external-table-bucket@<your_objectstore_namespace>という形式を使用して、external-table-bucketへのパスを入力します。
      たとえば、問題のネームスペースがbigdatasciencelargeの場合は、oci://external-table-bucket@bigdatasciencelargeと入力します。
    8. 「作成」を選択します。

  • createコマンドおよび必須パラメータを使用して、データ・フローで使用するメタストアを作成します。

    oci data-catalog metastore create [OPTIONS]

    CLIコマンドのフラグおよび変数オプションの完全なリストは、CLIコマンドライン・リファレンスを参照してください。

  • CreateMetastore操作を実行して、データ・フローで使用するメタストアを作成します。

データ・カタログ・メタストアでの大まかなアクセス制御

データ・カタログ・メタストアは、Identity and Access Managementサービスを使用して、別のユーザーが作成したリソースへの偶発的なアクセスおよび変更を回避するための、大まかなアクセス制御を提供します。管理者は、メタストア詳細ページの「リソース・リスト」に記載されている事前定義済ポリシーを使用して、カタログ、データベース、表などのリソースへのアクセス権を付与できます。詳細は、データ・カタログ・メタストアのドキュメントを参照してください。
ノート

この機能は、Spark 2.4.4ではサポートされていません。