生成AIのサービス制限
OCI生成AIの専用AIクラスタ・リソースの制限について学習します。
デフォルトでは、テナンシごとに取得する専用AIクラスタの数は0です。引上げをリクエストするリソースの名前については、次の表および例を参照してください。
| 専用AIクラスタ・リソースに関連するベース・モデル | リソース | 制限名 | テナンシ当たりのデフォルト数 |
|---|---|---|---|
|
meta.llama-3-70b-instructモデルのホスティングまたはファインチューニング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
|
meta.llama-3.1-70b-instructモデルのホスティングまたはファインチューニング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
|
meta.llama-3.1-405b-instructモデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
|
meta.llama-3.2-11b-vision-instructモデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
|
meta.llama-3.2-90b-vision-instructモデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
|
meta.llama-3.3-70b-instructモデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
|
cohere.command-r-16kモデルのホスティングまたはファインチューニング用の専用AIクラスタ・ユニット数 |
dedicated-unit-small-cohere-count |
0 |
|
cohere.command-r-08-2024モデルのホスティングまたはファインチューニング用の専用AIクラスタ・ユニット数 |
dedicated-unit-small-cohere-count |
0 |
|
cohere.command-r-plusモデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-large-cohere-count |
0 |
|
cohere.command-r-plus-08-2024モデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-large-cohere-count |
0 |
|
cohere.command-lightモデルのホスティングまたはファインチューニング用の専用AIクラスタ・ユニット数 |
dedicated-unit-small-cohere-count |
0 |
|
cohere.commandモデルのホスティングまたはファインチューニング用の専用AIクラスタ・ユニット数 |
dedicated-unit-large-cohere-count |
0 |
|
cohere.embed-english-v3.0モデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-embed-cohere-count |
0 |
|
cohere.embed-multilingual-v3.0モデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-embed-cohere-count |
0 |
|
cohere.embed-english-light-v3.0モデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-embed-cohere-count |
0 |
|
cohere.embed-multilingual-light-v3.0モデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-embed-cohere-count |
0 |
|
meta.llama-2-70b-chatモデルのホスティング用の専用AIクラスタ・ユニット数 |
dedicated-unit-llama2-70-count |
0 |
次のリソースを使用するには、制限の引上げをリクエストする必要があります:
Meta Llamaファミリ
-
Meta Llama 3.3 (70B)モデルをホストするには、
dedicated-unit-llama2-70-countに2ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.3 (70B)モデルを微調整するには、
dedicated-unit-llama2-70-countをリクエストして4増やす必要があります。 -
Meta Llama 3.2 11B Vision モデルをホストするには、
dedicated-unit-llama2-70-countを1ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.2 90B Vision モデルをホストするには、
dedicated-unit-llama2-70-countに2ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.1 (70B)モデルをホストするには、
dedicated-unit-llama2-70-countに2ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.1 (70B)モデルを微調整するには、
dedicated-unit-llama2-70-countをリクエストして4増やす必要があります。 -
Meta Llama 3.1 (405B)モデルをホストするには、
dedicated-unit-llama2-70-countを4ずつ増やすようにリクエストする必要があります。
Cohere Command Rファミリ
-
Cohere Command R (非推奨)モデルをホストするには、
dedicated-unit-small-cohere-countに1ずつ増やすようにリクエストする必要があります。 -
Cohere Command R (非推奨)モデルを微調整するには、
dedicated-unit-small-cohere-countをリクエストして8増やす必要があります。 -
Cohere Command R 08-2024モデルをホストするには、
dedicated-unit-small-cohere-countを1ずつ増やすようにリクエストする必要があります。 -
Cohere Command R 08-2024モデルを微調整するには、
dedicated-unit-small-cohere-countをリクエストして8増やす必要があります。 -
Cohere Command R+ (非推奨)モデルをホストするには、
dedicated-unit-large-cohere-countに2ずつ増やすようにリクエストする必要があります。 -
Cohere Command R+ 08-2024モデルをホストするには、
dedicated-unit-large-cohere-countに2ずつ増やすようにリクエストする必要があります。
モデルとその対応する専用AIクラスタ制限の完全なリストは、クラスタへのベース・モデルの照合を参照してください。
テナンシの専用AIクラスタをリクエストするには、サービス制限増加のリクエストを参照してください。