シナリオ5: 生成AIでのテキスト埋込みベンチマーク
テキスト埋込みシナリオは、ベクトル・データベースのデータ収集パイプラインの一部として生成を組み込むことを模倣します。
テキスト埋込みシナリオは、埋込みモデルにのみ適用されます。このシナリオでは、すべてのリクエストが同じサイズ(96ドキュメント、それぞれが512トークン)です。たとえば、ユーザーがベクトルDBに取り込む30,000語以上の単語を含む大きなPDFファイルの集合です。
ホスティング専用AIクラスタのベンチマークで使用される用語を確認します。シナリオとその説明のリストは、テキスト埋込みシナリオを参照してください。テキスト埋込みシナリオは次のリージョンで実行されます。
ブラジル東部(サンパウロ)
- モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-english-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.53 24 8 4.35 108 32 14.93 120 128 47.66 150 - モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-multilingual-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.25 24 8 4.33 120 32 14.94 144 128 49.21 198
Germany Central (Frankfurt)
- モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-english-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.53 24 8 4.35 108 32 14.93 120 128 47.66 150 - モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-multilingual-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.25 24 8 4.33 120 32 14.94 144 128 49.21 198
UK South (London)
- モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-english-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.53 24 8 4.35 108 32 14.93 120 128 47.66 150 - モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-multilingual-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.25 24 8 4.33 120 32 14.94 144 128 49.21 198
US Midwest (Chicago)
- モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-english-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.53 24 8 4.35 108 32 14.93 120 128 47.66 150 - モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-english-light-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 1.75 30 8 3.93 108 32 14.44 113 128 48.00 120 - モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-multilingual-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 2.25 24 8 4.33 120 32 14.94 144 128 49.21 198 - モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされる
cohere.embed-multilingual-light-v3.0
-
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM) 1 1.69 42 8 3.80 118 32 14.26 126 128 37.17 138