Integración de LLM

La integración de grandes modelos de lenguaje (LLM) de Oracle Digital Assistant le permite mejorar sus habilidades con capacidades de IA generativa.

Estas capacidades incluyen:

• Manejo de conversaciones pequeñas con un usuario.
• Generación de resúmenes escritos de datos.
• Automatización de tareas empresariales desafiantes o repetitivas, como las necesarias para la adquisición de talento.
• Proporcionar análisis de sentimiento de un determinado fragmento de texto para determinar si refleja una opinión positiva, negativa o neutral.

Mediante el componente Llamar a Modelo de Idioma Grande (el componente LLM), puede conectar estas capacidades al flujo de diálogo donde sea necesario. Este componente de flujo de diálogo es la parte de integración principal para la IA generativa, ya que se pone en contacto con el LLM mediante una llamada REST y, a continuación, envía al LLM una petición de datos (las instrucciones de lenguaje natural al LLM) junto con los parámetros relacionados. A continuación, devuelve los resultados generados por el modelo (que también se conocen como finalizaciones) y gestiona el estado de las interacciones LLM-usuario para que sus respuestas permanezcan en contexto después de sucesivas rondas de consultas de usuarios y comentarios. El componente LLM puede llamar a cualquier LLM. Puede agregar uno o más estados de componentes de LLM (o bloques de LLM) a los flujos. También puede encadenar las llamadas de LLM para que la salida de una solicitud de LLM se pueda transferir a una solicitud de LLM posterior.

Además del componente de LLM, las otras partes principales de la integración de LLM incluyen puntos finales para el proveedor de servicios de LLM y manejadores de transformación para convertir las cargas útiles de solicitud y respuesta al formato de Digital Assistant y desde este, la interfaz común de LLM (CLMI). Estos son los pasos generales para agregar estos y otros componentes para crear la integración de LLM para su aptitud:

• Registre un servicio de API en la instancia de Digital Assistant para el punto final de REST del LLM.
• Para su aptitud, cree un manejador de eventos de transformación de LLM para convertir las cargas útiles de solicitud y respuesta de LLM hacia y desde CLMI.
  Nota
  
  Proporcionamos manejadores predefinidos si está integrando su aptitud con el modelo Cohere o con el servicio de IA generativa de Oracle. Si está accediendo a otros modelos, como Azure OpenAI, puede actualizar el código de transformación de inicio que proporcionamos.
• Defina un servicio LLM para su aptitud que se asigne al servicio REST que ha registrado en la instancia con un manejador de transformación LLM.
• En el flujo en el que desea utilizar el LLM, inserte y configure un componente de LLM agregando el texto de petición de datos y definiendo otros parámetros.

  Consejo:

  Como mejor práctica, le recomendamos que utilice el generador de peticiones de datos (al que se accede a través del componente LLM) para perfeccionar su petición de datos.