OCI生成AIでのチャット

OCI生成AIで提供される大規模言語チャット・モデルを使用して、質問をしたり、AIチャットボットを通じて会話型レスポンスを取得したりできます。

• コンソール
• CLI
• API

• 1. コンソールのナビゲーション・バーで、生成AIを使用するリージョン(米国中西部(シカゴ)や英国南部(ロンドン)など)を選択します。リージョンで提供されるモデルを参照してください。
  2. ナビゲーション・メニューを開き、「アナリティクスとAI」を選択します。「AIサービス」で、「生成AI」を選択します。
  3. 作業する権限があるコンパートメントを選択します。プレイグラウンドが表示されない場合は、管理者に生成AIリソースへのアクセス権の付与を依頼して、次のステップに戻ります。
  4. 「プレイグラウンド」をクリックします。
  5. 「チャット」をクリックします。
  6. 次のいずれかのアクションを実行して、チャット・エクスペリエンスのモデルを選択します:
     • 「モデル」リストで、meta.llama-3.1-70b-instruct、cohere.command-r-08-2024、cohere.command-r-plus-08-2024などの事前トレーニング済モデル、またはカスタム・モデルを選択します。カスタム・モデルは、モデル名(エンドポイント名)として表示されます。
     • 「モデル詳細の表示」をクリックし、モデルを選択して、「モデルの選択」をクリックします。
     ノート
     
     

     • meta.llama-3.1-405b-instructモデルは、すべてのリージョンのオンデマンド・アクセスには使用できません。このモデルにアクセスするには、次のいずれかのオプションを実行します:

       • 専用アクセスの設定: meta.llama-3.1-405b-instructチャット・モデルの専用クラスタでサポートされているリージョンに切り替えます。次に、このモデルのホスティング・クラスタおよびエンドポイントを作成します。
       • オンデマンド・リージョンへの切替え: meta.llama-3.1-405b-instructチャット・モデルのオンデマンド推論でサポートされている米国中西部(シカゴ)リージョンに切り替えます。

     • meta.llama-3.2-11b-vision-instructモデルは、どのリージョンでもオンデマンド・アクセスには使用できません。このモデルにアクセスするには、次のオプションを実行します。

       • 専用アクセスの設定: meta.llama-3.2-11b-vision-instructチャット・モデルの専用クラスタでサポートされているリージョンに切り替えます。次に、このモデルのホスティング・クラスタおよびエンドポイントを作成します。

     オンデマンドおよび専用提供モードのコストおよびモデル廃止について学習します。

  7. プロンプトを入力するか、「例」リストから例を選択して、ベース・プロンプトとして使用するか、そこから学習します。
     meta.llama-3.2-90b-vision-instructなどのイメージを受け入れるモデルの場合は、5MB以下のサイズの.pngまたは.jpgイメージを追加できます。
  8. (オプション)パラメータの新しい値を設定します。パラメータの詳細は、チャット・モデル・パラメータを参照してください。
  9. 「送信」をクリックします。
  10. 新しいプロンプトを入力するか、チャットの会話を続行するには、フォローアップ・プロンプトを入力して「送信」をクリックします。
      重要
      
      プレイグラウンドで、イメージを受け入れるビジョン・モデルについて:

      • プロンプトなしでイメージを送信しても機能しません。イメージを送信する場合は、そのイメージに関するプロンプトを同じリクエストで送信する必要があります。その後、フォローアップ・プロンプトを送信でき、モデルによって会話のコンテキストが保持されます。
      • 次のイメージとテキストを追加するには、チャットをクリアして、チャットをクリアしたために前の会話のコンテキストが失われるようにする必要があります。
  11. (オプション)レスポンスを変更するには、「チャットのクリア」をクリックし、プロンプトとパラメータを更新して、「送信」をクリックします。出力に満足するまで、このステップを繰り返します。
  12. (オプション)出力を生成したコードをコピーするには、「コードの表示」をクリックし、プログラミング言語またはフレームワークを選択して「コードのコピー」をクリックし、コードをファイルに貼り付けてファイルを保存します。ファイルが、貼り付けられたコードの形式を保持していることを確認します。
      ヒント
      
      

      アプリケーションでコードを使用する場合:

      • コードを認証していることを確認します。
      • LlamaIndex統合およびLangChain統合を確認します。
  13. (オプション)新しい会話を開始するには、「チャットのクリア」をクリックします。
      ノート
      
      

      • 「チャットのクリア」をクリックすると、チャットの会話は消去されますが、モデル・パラメータは変更されず、最後に適用した設定を引き続き使用できます。

        「世代」などの別の機能に切り替えてから「チャット」プレイグラウンドに戻ると、チャット会話とモデル・パラメータの両方がデフォルト値にリセットされます。

      Cohereチャット・パラメータについて学習します。

• チャットするには、生成AI推論CLIでchat-result操作を使用します。

  chat-result操作で使用するオプションのリストを表示するには、次のコマンドを入力します。

  oci generative-ai-inference chat-result -h

  OCIGenerative AI CLIコマンドのパラメータおよび値の完全なリストは、生成AI推論CLIおよび生成AI管理CLIを参照してください。

• チャット操作を実行して、大規模言語モデルを使用してチャットします。

  APIの使用およびリクエストの署名の詳細は、REST APIのドキュメントおよびセキュリティ資格証明を参照してください。SDKの詳細は、SDKおよびCLIを参照してください。