Cohere Embed English 3
Le modèle cohere.embed-english-v3.0 transforme chaque phrase, phrase ou paragraphe que vous saisissez en tableau.
Vous pouvez utiliser les modèles d'intégration pour rechercher une similarité dans des expressions similaires dans un contexte ou une catégorie. Les incorporations sont généralement stockées dans une base de données vectorielle. Les plongements sont principalement utilisés pour les recherches sémantiques, où la fonction de recherche se concentre sur le sens du texte recherché plutôt que sur les résultats basés sur des mots-clés.
Disponible dans ces régions
- Est du Brésil (São Paulo)
- Allemagne centrale (Francfort)
- Centre du Japon (Osaka)
- Est des Émirats arabes unis (Dubaï) (cluster d'IA dédié uniquement)
- Sud du Royaume-Uni (Londres)
- Midwest des Etats-Unis (Chicago)
Accéder à ce modèle
Principales fonctionnalités
- Utilisez les modèles Cohere Embed English pour générer des incorporations de texte à partir de documents anglais.
- Anglais ou multilingue.
- Le modèle crée un vecteur à 1 024 dimensions pour chaque plongement.
- 96 phrases au plus par exécution.
- 512 jetons maximum pour chaque entrée.
Mode à la demande
Ce modèle est disponible à la demande dans les régions non répertoriées en tant que (cluster d'IA dédié uniquement). Reportez-vous au tableau suivant pour connaître le nom de produit à la demande de ce modèle sur la page de tarification.
| Nom du modèle | Nom du modèle OCI | Nom du produit de la page de tarification |
|---|---|---|
| Cohere Embed English 3 | cohere.embed-english-v3.0 |
Embed Cohere |
-
Vous payez au fur et à mesure pour chaque appel d'inférence lorsque vous utilisez les modèles dans le playground de test ou lorsque vous appelez les modèles via l'API.
- Faible barrière pour commencer à utiliser l'IA générative.
- Idéal pour l'expérimentation, la preuve de concept et l'évaluation de modèle.
- Disponible pour les modèles préentraînés dans les régions non répertoriées en tant que (cluster d'IA dédié uniquement).
Ajustement de limite d'accélération dynamique pour le mode à la demande
OCI Generative AI ajuste dynamiquement la limite d'ajustement des demandes pour chaque location active en fonction de la demande de modèle et de la capacité du système afin d'optimiser l'allocation des ressources et de garantir un accès équitable.
Cet ajustement dépend des facteurs suivants :
- Débit maximal actuel pris en charge par le modèle cible.
- Toute capacité système inutilisée au moment de l'ajustement.
- Utilisation du débit historique de chaque location et limites de remplacement indiquées définies pour cette location.
Remarque : En raison de l'ajustement dynamique, les limites de taux ne sont pas documentées et peuvent changer pour répondre à la demande à l'échelle du système.
En raison de l'ajustement de la limite de ralentissement dynamique, nous vous recommandons d'implémenter une stratégie de back-off, qui consiste à retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie de back-off, telle qu'une stratégie de back-off exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des nouvelles tentatives, en respectant les meilleures pratiques du secteur et en améliorant la stabilité et les performances globales de votre intégration au service.
Cluster d'IA dédié pour le modèle
Pour atteindre un modèle via un cluster d'IA dédié dans une région répertoriée, vous devez créer une adresse pour ce modèle sur un cluster d'IA dédié. Pour connaître la taille d'unité de cluster correspondant à ce modèle, reportez-vous au tableau suivant.
| Modèle de base | Cluster de réglage fin | Cluster d'hébergement | Informations sur la page de tarification | Demander une augmentation de limite de cluster |
|---|---|---|---|---|
|
Non disponible pour le réglage fin |
|
|
|
Si votre location ne dispose pas de suffisamment de limites de cluster pour héberger un modèle Embed sur un cluster d'IA dédié, demandez une augmentation de 1 de la limite dedicated-unit-embed-cohere-count.
Règles d'adresse pour les clusters
- Un cluster d'IA dédié peut contenir jusqu'à 50 adresses.
- Utilisez ces adresses pour créer des alias qui pointent tous vers le même modèle de base ou vers la même version d'un modèle personnalisé, mais pas les deux types.
- Plusieurs points d'extrémité pour le même modèle facilitent leur affectation à différents utilisateurs ou objectifs.
| Taille de l'unité de cluster d'hébergement | Règles d'adresse |
|---|---|
| Embed Cohere |
|
-
Pour augmenter le volume d'appels pris en charge par un cluster d'hébergement, augmentez le nombre d'instances en modifiant le cluster d'IA dédié. Reportez-vous à Mise à jour d'un cluster d'IA dédié.
-
Pour plus de 50 adresses par cluster, demandez une augmentation de la limite,
endpoint-per-dedicated-unit-count. Reportez-vous à Demande d'augmentation de limite de service et à Limites de service pour l'IA générative.
Tests de performances du cluster
Consultez les tests d'évaluation des performances du cluster Cohere Embed English 3 pour différents cas d'utilisation.
Dates de déblocage et de sortie
| Modèle | Date de lancement | Date de sortie à la demande | Date de retrait du mode dédié |
|---|---|---|---|
cohere.embed-english-v3.0
|
2 024-2-7 | 2 026-1-22 | 2 026-1-22 |
Pour obtenir la liste de toutes les lignes de temps du modèle et des détails de sortie, voir Mettre hors service les modèles.
Données d'entrée pour les incorporations de texte
Les données d'entrée nécessaires à la création d'intégrations de texte sont les suivantes :
- Vous pouvez ajouter des phrases, des expressions ou des paragraphes pour les incorporations, soit une phrase à la fois, soit en chargeant un fichier.
- Seuls les fichiers avec l'extension
.txtsont autorisés. - Si vous utilisez un fichier d'entrée, chaque phrase, expression ou paragraphe d'entrée dans le fichier doit être séparé par un caractère d'entrée à une nouvelle ligne.
- Un maximum de 96 entrées est autorisé pour chaque exécution.
- Dans la console, chaque entrée doit être inférieure à 512 jetons pour les modèles de texte uniquement.
- Si une entrée est trop longue, indiquez si le début ou la fin du texte doit être coupé dans la limite du jeton en définissant le paramètre Truncate sur Start ou End. Si une entrée dépasse la limite de jeton 512 et que le paramètre Truncate est défini sur None, un message d'erreur s'affiche.
- Pour les modèles de texte et d'image, vous pouvez avoir des fichiers et des entrées qui totalisent tous jusqu'à 128 000 jetons.
- Pour les modèles d'intégration de texte et d'image, tels que Cohere Embed English Image V3, vous pouvez soit ajouter du texte, soit ajouter une seule image. Pour l'image, vous pouvez utiliser une API. L'entrée d'image n'est pas disponible dans la console. Pour l'API, entrez une image encodée base64 à chaque exécution. Par exemple, une image 512 x 512 est convertie en environ 1 610 jetons.
En savoir plus sur la création d'intégrations de texte dans OCI Generative AI.
Paramètre du modèle de plongement
Lorsque vous utilisez les modèles d'intégration, vous pouvez obtenir une sortie différente en modifiant le paramètre suivant.
- Tronquer
-
Permet d'indiquer si les sèmes de début ou de fin doivent être tronqués dans une phrase lorsque celle-ci dépasse le nombre maximal de sèmes autorisés. Par exemple, une phrase a 516 jetons, mais la taille maximale du jeton est de 512. Si vous choisissez de tronquer la fin, les 4 derniers jetons de cette phrase sont coupés.