Documentación de Oracle Cloud Infrastructure

Creación del Servicio LLM

El estado del componente LLM del flujo de diálogo accede al modelo a través de un servicio LLM de nivel de aptitud, que combina un servicio LLM de nivel de instancia con uno de los manejadores de transformación de la aptitud. Un servicio LLM es un artefacto de nivel de aptitud.

Para configurar este servicio:
  1. Seleccione Configuración > Configuración.
  2. En la sección Servicios de modelo de lenguaje grande de la página, haga clic en + Nuevo servicio de LLM.
  3. Complete la fila:
    • Nombre: introduzca un nombre fácilmente identificable para el servicio de LLM. Este es el nombre que seleccionará al configurar el flujo de diálogo.
    • Servicio LM: seleccione uno de los servicios LM que se han configurado para la instancia.
    • Manejador de transformación: seleccione el manejador de transformación que es el equivalente del servicio de LLM. Por ejemplo, si el componente LLM utiliza el servicio OpenAI LLM de Azure para generar respuestas, debe seleccionar uno de los manejadores de eventos de la aptitud que transforma las cargas útiles OpenAI de Azure en CLMI.
    • Falso: active esta opción (verdadero) para ahorrar tiempo y costos al probar el flujo de diálogo. Dado que esta opción permite que el componente de LLM devuelva una respuesta estática en lugar de la continuación generada por LLM, no tiene que perder tiempo esperando la respuesta de LLM ni incurrir en costos del proveedor de servicios de LLM cuando solo está probando parte del flujo de diálogo.
      Nota

      Solo puede utilizar esta opción si el servicio de LLM que ha seleccionado tiene una respuesta estática de 200.
    • Valor por defecto: si se activa (true), se define el servicio LLM como la selección por defecto en el menú Servicio LLM del componente LLM. Si un servicio LLM existente ya está definido como predeterminado, su estado predeterminado se sobrescribe (es decir, se establece en false) cuando se activa para otro servicio LLM.
  4. Haga clic en la acción Guardar (situada a la derecha).
    Icono de acción Guardar.

Los servicios de LLM creados como servicios REST en las versiones anteriores a la 24.02 se marcan con una advertencia El icono de advertencia.. Para descartar esta advertencia, seleccione el servicio REST (al que se accede a través de Configuración > Servicios de API) y, a continuación, haga clic en Convertir a LLM.