自動スケーリングを構成するためのカスタム・スケーリング・メトリック・タイプ

カスタム・メトリックを使用した自動スケーリングを使用したモデル・デプロイメントの作成

カスタム・メトリックを使用して自動スケーリング・ポリシーを使用してモデル・デプロイメントを作成する方法について学習します。

• コンソール
• CLI
• API

• 1. 「モデル・デプロイメント」ページで、「モデル・デプロイメントの作成」を選択します。モデル・デプロイメントのリストの検索に関するヘルプが必要な場合は、モデル・デプロイメントのリストを参照してください。
  2. 「モデル・デプロイメントの作成」のステップに従って、モデル・デプロイメントを構成します。
  3. 「自動スケーリング構成」で、「自動スケーリングの有効化」を選択します。
     自動スケーリングを構成できるように、いくつかのリストおよびフィールドが表示されます。
  4. 「メトリック・タイプのスケーリング」リストから「カスタム」を選択します。
  5. スケールイン・カスタム・メトリック問合せおよびスケールアウト・カスタム・メトリック問合せにMQL問合せを移入します。
     重要
     
     含める

     {resourceId = "MODEL_DEPLOYMENT_OCID"}

     各クエリで問合せの実行時に、実際のリソースOCIDが"MODEL_DEPLOYMENT_OCID"のかわりに使用されます。
  6. 「作成」を選択します。

• モデル・デプロイメントを作成するには、oci data-science model-deployment createコマンドと必要なパラメータを使用します:

  oci data-science model-deployment create --required-param-name variable-name ... [OPTIONS]

  たとえば、モデルをデプロイします。

  oci data-science model-deployment create \
  --compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
  --model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
  --project-id <PROJECT_OCID> \
  --display-name <MODEL_DEPLOYMENT_NAME>

  次のモデル・デプロイメントのJSON構成ファイルを使用します:

  {
    "deploymentType": "SINGLE_MODEL",
    "modelConfigurationDetails": {
      "modelId": "ocid1.datasciencemodel.oc1.iad.amaaaaaav66vvnias2wuzfkwmkkmxficse3pty453vs3xtwlmwvsyrndlx2q",
      "instanceConfiguration": {
        "instanceShapeName": "VM.Standard.E4.Flex",
        "modelDeploymentInstanceShapeConfigDetails": {
          "ocpus": 1,
          "memoryInGBs": 16
        }
      },
      "scalingPolicy": {
        "policyType": "AUTOSCALING",
        "coolDownInSeconds": 650,
        "isEnabled": true,
        "autoScalingPolicies": [
          {
            "autoScalingPolicyType": "THRESHOLD",
            "initialInstanceCount": 1,
            "maximumInstanceCount": 2,
            "minimumInstanceCount": 1,
            "rules": [
              {
                "metricExpressionRuleType": "CUSTOM_EXPRESSION",
                "scaleInConfiguration": {
                  "scalingConfigurationType": "QUERY",
                  "pendingDuration": "PT5M",
                  "instanceCountAdjustment": 1,
                  "query": "MemoryUtilization[1m]{resourceId = 'MODEL_DEPLOYMENT_OCID'}.grouping().mean() < 10"
                },
                "scaleOutConfiguration": {
                  "scalingConfigurationType": "QUERY",
                  "pendingDuration": "PT3M",
                  "instanceCountAdjustment": 1,
                  "query": "MemoryUtilization[1m]{resourceId = 'MODEL_DEPLOYMENT_OCID'}.grouping().mean() > 65"
                }
              }
            ]
          }
        ]
      },
      "bandwidthMbps": 10,
      "maximumBandwidthMbps": 20
    }
  }

  CLIコマンドのパラメータおよび値のリストは、CLIコマンド・リファレンスを参照してください。

• CreateModelDeployment操作を使用して、カスタム・スケーリング・メトリック・タイプを使用してモデル・デプロイメントを作成します。