Pruebas del asistente digital

En pocas palabras, cuando agrega una aptitud a un asistente digital y entrena al asistente digital, el asistente digital utiliza todas las expresiones que se han utilizado para entrenar las intenciones en una aptitud para entrenar a un clasificador para la aptitud.

Si, en tiempo de ejecución, el motor de enrutamiento de un asistente digital confía en que una aptitud concreta representa una coincidencia para un mensaje de usuario entrante, marca la aptitud como una "aptitud de candidato". Si no se resuelve ninguna otra aptitud dentro de un rango de confianza configurado o superior, se desplaza a la aptitud candidata identificada y a su intención coincidente e inicia una conversación.

Por lo tanto, las expresiones son importantes al enrutar solicitudes en un asistente digital, lo que requiere que pruebe si las expresiones que se han resuelto correctamente en una intención de una aptitud aún se resuelven en ella. Del mismo modo que prueba sus habilidades de forma aislada, ejecutará pruebas positivas, pruebas negativas y pruebas vecinas en sus habilidades.

Las pruebas positiva y negativa utilizan expresiones que ha utilizado para probar las intenciones de una aptitud. Si las pruebas son positivas, debe obtener resultados muy por encima del umbral de confianza, aunque no necesariamente la misma confianza que cuando se realiza la prueba de forma aislada.

Para las pruebas complementarias, utilice expresiones de prueba de otras aptitudes en el asistente digital y configúrelas para que se resuelvan en la aptitud para la que está probando. Idealmente, al ejecutar la prueba, todas las pruebas fallarán porque las expresiones no están destinadas a la aptitud que se está probando.

Oracle Digital Assistant soporta pruebas por lotes de expresiones en el nivel de asistente digital, que puede utilizar para implantar las pruebas explicadas en esta parte del documento.

Tan pronto como esté satisfecho con el resultado de las pruebas de expresión, puede iniciar la prueba de conversación. Para ello, hay un comprobador de conversaciones que también explica la toma de decisiones que condujo a un enrutamiento de aptitudes específico.

Al igual que para las aptitudes, el comprobador de conversaciones se puede utilizar para grabar conversaciones de prueba para reproducirlas posteriormente. Al reproducir conversaciones, puede asegurarse de que los cambios en una aptitud siguen dando como resultado la misma conversación y de que no se comporta de forma diferente.

Antes de desconectarse de un asistente digital, pida a los usuarios reales que lo prueben. Darles un mínimo de instrucciones y ver cómo lo hacen. Puede utilizar Insights para supervisar el tráfico, identificar expresiones que no encuentren una intención coincidente, identificar expresiones que encuentren una coincidencia incorrecta y obtener información sobre el ratio de conversaciones correctas frente a incorrectas.

Aquí hay algunas preguntas que puede usar para guiar a los usuarios a lo que desea que presten atención:

• ¿Está claro para los usuarios que están interactuando con un asistente digital y no con un humano?
• ¿Explica el asistente digital a los usuarios lo que puede hacer y lo que no?
• ¿Es posible que los usuarios experimentados acorten la conversación proporcionando más información en el mensaje inicial?
• ¿Pueden los usuarios trabajar con el asistente digital sin necesidad de aprender primero un juego de palabras clave o cómo iniciar una conversación?
• ¿Maneja el asistente digital los errores indicando a los usuarios que se pongan en contacto con un agente humano cuando se atasquen?
• ¿Ofrece el asistente digital una opción de ayuda o cancelación en respuesta a que los usuarios no proporcionen una entrada válida cuando se le solicite?
• ¿Ofrece el asistente digital selecciones rápidas para las opciones de entrada de usuario comunes cuando se le solicita (por ejemplo, un botón para definir la fecha de hoy o de mañana al crear una entrada de calendario)?
• ¿Se utiliza de forma consistente la persona del bot (tono y voz) en las conversaciones del asistente digital?
• ¿El asistente digital es realmente conversacional o tiene áreas que no están controladas por mensajes, pero que obligan a los usuarios a pulsar un botón o seleccionar de una lista?
• ¿El lenguaje utilizado por el asistente digital es sencillo? Si se utiliza un lenguaje experto y abreviaturas, ¿será entendido por el público previsto?
• ¿Los mensajes del bot son concisos y significativos?
• ¿Los mensajes y los campos del bot contienen contexto para que el usuario entienda cuál es el estado actual de la conversación?
• ¿Utiliza el asistente digital peticiones de datos alternas al volver a solicitar información?
• ¿El asistente digital ayuda activamente a desambiguar la entrada del usuario cuando la entrada proporcionada no está clara (por ejemplo, dos tamaños introducidos en una orden de pizza cuando solo se debe proporcionar uno)?

• ☑ Pruebe la comprensión de NLU en el nivel del asistente digital mediante conjuntos de pruebas.
• ☑ Pruebe la resolución de intenciones para diferentes contextos (configurando una aptitud para que se asuma como actual).
• ☑ Revise los valores de configuración del asistente digital para adaptar las plantillas de mensajes para los mensajes incorporados a sus necesidades y a la persona del bot.
• ☑ Utilice la configuración de confianza del asistente digital para ajustar la comprensión.
• ☑ Utilice el comprobador de conversaciones para asegurarse de que el asistente digital proporciona las respuestas correctas a los mensajes de usuario. 
• ☑ Supervise el rendimiento y el comportamiento del asistente digital en tiempo de ejecución.
• ☑ Implante un bucle de comentarios para que los usuarios proporcionen comentarios a través de la conversación.

• Video de Oracle Digital Assistant Design Camp: Inside Artie – Sharing the experience of building Artie
• Ajuste del comportamiento del enrutamiento
• Métricas de conversación para asistentes digitales