オンデマンド推論に対する支払

OCI生成AIのオンデマンド推論にコミットすると、次のメリットが得られます。

生成AIの使用を開始するための障壁が少ない。
使用可能なすべての生成AI基盤モデルにアクセスします。
モデルの実験と評価に最適です。
トランザクションのPay as you goです。詳細は、次のノートを参照してください。

ノート

オンデマンド推論では、次の文字長に従って支払います。

チャット: プロンプトの長さ(文字数) +レスポンスの長さ(文字数)
テキスト生成: プロンプトの長さ(文字数) +レスポンスの長さ(文字数)
サマリー: プロンプトの長さ(文字) +レスポンスの長さ(文字)
テキスト埋込み: 入力長(文字)

「価格設定」ページで、1 characterは1 transactionとして計算されます。

基盤モデルをホストする場合や、専用AIクラスタでファインチューニングする場合、トランザクションではなく単位時間で課金されます。この場合、専用AIクラスタのコストを計算する方法を学習するには、専用AIクラスタへの支払を参照してください。

モデルのオンデマンド価格への照合

価格設定ページの基本モデルとその製品名と一致させるには、次の表を参照してください。価格設定ページには、推論にプレイグラウンド、APIまたはCLIを使用する場合の10,000件のオンデマンド・トランザクションの価格がリストされます。次に、この項の例を確認して、入力文字と出力文字の数に基づいてコストを計算する方法を学習します。

チャット・モデル


モデル名	OCIモデル名	価格設定ページ製品名
Cohere Command R	`cohere.command-r-16k` (非推奨)	Small Cohere
Command R 08-2024	`cohere.command-r-08-2024`	Small Cohere
Cohere Command R+	`cohere.command-r-plus` (非推奨)	Large Cohere
Command R+ 08-2024	`cohere.command-r-plus-08-2024`	Large Cohere
Meta Llama 3	`meta.llama-3-70b-instruct` (非推奨)	Large Meta
Meta Llama 3.1 (70B)	`meta.llama-3.1-70b-instruct`	Large Meta
Meta Llama 3.1 (405B)	`meta.llama-3.1-405b-instruct`	Meta Llama 3.1 405B
Meta Llama 3.2 11B Vision	`meta.llama-3.2-11b-vision-instruct`	Large Meta
Meta Llama 3.2 90B Vision	`meta.llama-3.2-90b-vision-instruct`	Large Meta

重要

オンデマンド・モードでサポートされる要約およびテキスト生成モデルが廃止されました。かわりにチャット・モデルを使用することをお薦めします。

モデルの埋込み


モデル名	OCIモデル名	価格設定ページ製品名
Cohere English Embed V3	`cohere.embed-english-v3.0`	Embed Cohere
Cohere Multilingual Embed V3	`cohere.embed-multilingual-v3.0`	Embed Cohere
Cohere English Light Embed V3	`cohere.embed-english-light-v3.0`	Embed Cohere
Cohere Multilingual Light Embed V3	`cohere.embed-multilingual-light-v3.0`	Embed Cohere

チャットの例

Paulは、次のプロンプト(220 characters long)を使用してmeta.llama-3.3-70b-instructモデルをコールします。

サラウンド・サウンドを記録できるUSB接続コンパクト・マイク用の製品ピッチを生成します。マイクは、音楽や会話の録音に最も役立ちます。マイクは、ポッドキャストの記録にも役立ちます。

モデルからのレスポンスは2,205 characters longです。ポールはこの電話の費用を知りたい。ここでは、コストを計算するステップを示します。

プロンプト+レスポンスの長さ(文字)を計算します。
プロンプトの長さ(220文字)とモデル・レスポンスの長さ(1,618文字)を合計します。
```
prompt + response length = 220 + 2,205 = 2,425 characters
```
トランザクション数を計算します。
10,000トランザクションの価格がリストされます。
```
10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
```
AIの価格設定に移動し、「OCI生成AI」の「Oracle Cloud Infrastructure Generative AI - Large Meta」で<Large-Meta-unit-price>を見つけます。
Paulは、生成AIの「AI価格設定」ページで製品と一致するmeta.llama-3.3-70b-instructモデル(生成AI OCI - 大規模メタ)を使用します。

1,838文字の価格を計算します。

price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>

ヒント

価格の計算に加えて、AIおよび機械学習カテゴリを選択し、OCI生成AIのコスト見積りをロードすることで、コストを推定できます。

テキスト埋込みの例

Ginaは、顧客契約を新しいセマンティック検索アプリケーションの埋込みに変換しています。平均して、Ginaは毎時16の文書を取り込みます。各ドキュメントの長さは約1,000 charactersです。Ginaは、これらの埋込みを生成するための月次請求の見積を取得したいと考えています。ここでは、コストを計算するステップを示します。

入力長(文字数)を計算します。
各時間の入力文字の長さを合計します。
```
input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
```
AIの価格設定に移動し、「OCI生成AI」の「Oracle Cloud Infrastructure Generative AI - Embed Cohere」で、<Embed-Cohere-unit-price>を見つけます。
Ginaは、生成AIの「AI価格設定」ページに製品と一致するcohere.embedモデル、Oracle Cloud Infrastructure Generative AI - Embed Cohereを使用します。
1時間当たりのトランザクション数を計算します。
Ginaは1時間あたり16,000文字を取り込みます。10,000トランザクションの価格がリストされます。
```
10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
```

Ginaが毎時取り込む16,000文字の時給を見つけます。

hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>

年間最長月の月額料金を検索

One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price