Paiement de l'inférence à la demande
Vous bénéficiez des avantages suivants en vous engageant à l'inférence à la demande dans OCI Generative AI :
- Faible barrière pour commencer à utiliser l'IA générative.
- Accès à tous les modèles fondamentaux d'IA générative disponibles.
- Idéal pour expérimenter et évaluer les modèles.
- Pay as you go pour les transactions. Pour plus d'informations, reportez-vous à la remarque suivante.
Avec la déduction à la demande, vous payez au fur et à mesure pour les longueurs de caractères suivantes :
- Discussion : longueur d'invite (en caractères) + longueur de réponse (en caractères)
- Intégrations de texte : longueur d'entrée (en caractères)
Sur la page Tarification, 1 character est calculé comme suit : 1 transaction.
Si vous hébergez des modèles fondamentaux ou que vous les affinez sur des clusters d'IA dédiés, vous êtes facturé par heure d'unité plutôt que par transaction. Dans ce cas, reportez-vous à Paiement pour les clusters d'IA dédiés pour savoir comment calculer les coûts des clusters d'IA dédiés.
Mise en correspondance des modèles avec les prix à la demande
La page de tarification indique le prix de 10 000 transactions à la demande lors de l'utilisation de la piste de lecture, de l'API ou de l'interface de ligne de commande pour l'inférence.
Accédez à la page Modèles préentraînés et sélectionnez le modèle que vous souhaitez utiliser. Dans la section Mode à la demande, recherchez les informations de page de tarification du modèle. Consultez ensuite les exemples de cette section pour savoir comment calculer le coût en fonction du nombre de caractères d'entrée et de sortie.
Exemple de discussion
Paul appelle le modèle meta.llama-3.3-70b-instruct avec l'invite suivante, qui est longue de 220 characters :
Générez une hauteur de produit pour un microphone compact connecté par USB qui peut enregistrer le son surround. Le microphone est le plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.
La réponse du modèle est longue de 2,205 characters. Paul veut connaître le coût de cet appel. Voici les étapes pour calculer le coût.
Outre le calcul du prix, vous pouvez estimer le coût en sélectionnant la catégorie IA et apprentissage automatique et en chargeant l'estimateur de coût pour OCI Generative AI.
Exemple d'inclusion de texte
Gina convertit les contrats clients en intégrations pour une nouvelle application de recherche sémantique. En moyenne, Gina ingère 16 documents toutes les heures. Chaque document est d'environ 1,000 characters long. Gina veut obtenir une estimation de la facture mensuelle pour la génération de ces incorporations. Voici les étapes à suivre pour calculer le coût.