Cohere Rerank 3.5
Das Modell cohere.rerank.v3-5 nimmt eine Abfrage und eine Liste von Texten auf und erstellt ein geordnetes Array mit jedem Text, dem eine Relevanzbewertung zugewiesen ist. Die Relevanzbewertung ist, wie das Modell die Dokumente einstuft, d.h. wie gut jeder Text mit der Abfrage übereinstimmt.
In diesen kommerziellen Regionen verfügbar
- Brazil East (Sao Paulo) (nur dediziertes KI-Cluster)
- Germany Central (Frankfurt) (nur dediziertes KI-Cluster)
- Japan Central (Osaka) (nur dediziertes KI-Cluster)
- Saudi Arabia Central (Riyadh) (nur dediziertes KI-Cluster)
- UK South (London) (nur dediziertes KI-Cluster)
- US East (Ashburn) (nur dediziertes KI-Cluster)
- Mittlerer Westen der USA (Chicago) (nur dediziertes KI-Cluster)
In dieser Sovereign Region verfügbar
Dieses Modell ist in EU Sovereign Central (Frankfurt) (nur dediziertes KI-Cluster) über die folgenden API-Endpunkte verfügbar:
- Inferenz-API:
https://inference.generativeai.eu-frankfurt-2.oci.oraclecloud.eu - Management-API:
https://generativeai.eu-frankfurt-2.oci.oraclecloud.eu
Verwenden Sie in der API für den Modellnamen und die Modell-OCID cohere.rerank.v3-5.
Weitere Informationen zur Oracle EU Sovereign Cloud.
Zugriff auf dieses Modell
Wichtige Features
- Nur dedizierter Modus.
- Nicht verfügbar auf Anfrage oder auf dem Spielplatz.
- Greifen Sie über API und SDK auf das Modell zu, das in einem Cluster gehostet wird.
- Erstellen Sie im dedizierten Modus einen Endpunkt in einem dedizierten KI-Hostcluster, hosten Sie das Modell im Cluster, und führen Sie dann die RerankText-API oder das zugehörige SDK aus.
Dediziertes KI-Cluster für das Modell
Um ein Modell über ein dediziertes KI-Cluster in einer beliebigen aufgelisteten Region zu erreichen, müssen Sie einen Endpunkt für dieses Modell in einem dedizierten KI-Cluster erstellen. Die Größe der Clustereinheit, die mit diesem Modell übereinstimmt, finden Sie in der folgenden Tabelle.
| Basismodell | Optimierungscluster | Hostingcluster | Preisfindungsseiteninformationen | Erhöhung des Clusterlimits anfordern |
|---|---|---|---|---|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
Wenn in Ihrem Mandanten nicht genügend Clusterlimits für das Hosting des Modells Cohere Rerank 3.5 in einem dedizierten KI-Cluster vorhanden sind, fordern Sie die Erhöhung des Limits dedicated-unit-rerank-cohere-count um 1 an.
Endpunktregeln für Cluster
- Ein dediziertes KI-Cluster kann bis zu 50 Endpunkte enthalten.
- Verwenden Sie diese Endpunkte, um Aliasnamen zu erstellen, die alle entweder auf das gleiche Basismodell oder auf die gleiche Version eines benutzerdefinierten Modells verweisen, nicht jedoch auf beide Typen.
- Mehrere Endpunkte für dasselbe Modell erleichtern die Zuweisung zu verschiedenen Benutzern oder Zwecken.
| Hostingclustereinheitsgröße | Endpunktregeln |
|---|---|
| RERANK_COHERE |
|
-
Um das von einem Hostingcluster unterstützte Anrufvolumen zu erhöhen, erhöhen Sie die Anzahl der Instanzen, indem Sie das dedizierte KI-Cluster bearbeiten. Siehe Dediziertes KI-Cluster aktualisieren.
-
Fordern Sie für mehr als 50 Endpunkte pro Cluster eine Erhöhung für das Limit an:
endpoint-per-dedicated-unit-count. Siehe Erhöhung des Servicelimits beantragen und Servicelimits für generative KI.
Clusterperformancebenchmarks
Prüfen Sie die Cohere Rerank 3.5-Clusterperformancebenchmarks für verschiedene Szenarios.
Abruf- und Abgangsdatum
| Modell | Freigabedatum | Abgangsdatum bei Bedarf | Abgangsdatum im dedizierten Modus |
|---|---|---|---|
cohere.rerank.v3-5
|
2.025-5-14 | On-Demand-Modus ist für dieses Modell nicht verfügbar. | Mindestens 6 Monate nach dem Release des 1. Ersatzmodells. |
Eine Liste aller Modellzeitpositionen und Abgangsdetails finden Sie unter Ablauf der Modelle.
Rerank-Modellparameter
Die Parameter des Rerank-Modells finden Sie in der API-Dokumentation RerankText.