Curso Intensivo de Agentes de Voz

Hola a todos, estoy feliz de estar en el AI Coding Summit presentando un tema tan agradable como el Agente de Voz. Unas pocas palabras sobre mí. Soy Stepan Suvorov, CTO en Roadsoft. Soy un gran fan de JNI y todas las posibilidades que nos ofrece. Por eso comencé un canal de YouTube específicamente para ayudar a las personas a utilizar JNI tanto como sea posible. También siéntanse libres de conectarse conmigo a través de mi página de LinkedIn para hacer cualquier pregunta relacionada con JNI o específicamente con el Agente de Voz.

Así que, Agentes de Voz. Quiero destacar que esto es exactamente un curso intensivo. Hice una investigación durante varios meses porque también estamos construyendo nuestra propia función de negocio basada en Agente de Voz. Y ese es el resultado de esta investigación. Es una charla que tal vez te ayude a ahorrar algo de tiempo si estás a punto de comenzar. Entonces, ¿qué pasa con el Agente de Voz? ¿Por qué es tan interesante ahora? En primer lugar, si miras todos los números, vemos que mucha inversión está creciendo y casi duplicándose cada año. Solo si revisas la empresa 11Labs, el año pasado recaudaron $180 millones.

Y a principios de este año son $500, $500 millones. Eso es una locura. Y también la evaluación ya era de $11 mil millones. Así que esa es la empresa que proporciona Agentes de Voz. ¿También por qué ahora? ¿Por qué ahora el mercado está tan activo? La respuesta es muy simple. Los modelos mejoran. ¿Qué específicamente? La conversión de voz a texto ahora funciona mucho mejor. En términos de que comete muchos menos errores. Es más confiable. También la generación de voz ha mejorado mucho más de lo que era incluso hace cinco años.

A veces ni siquiera podemos darnos cuenta de que estábamos hablando con un Agente de Voz y no con un humano real. Además, debido a que los modelos mejoran cada vez más, la latencia disminuye significativamente. Por eso ahora podemos tener una conversación en tiempo real y no solo generar una voz a partir de texto. Y también eso se conecta con el costo. Si tener un Agente de Voz te costará mucho dinero, probablemente no optarás por ello. Pero si es razonable, si tu retorno de inversión es bueno, ¿por qué no construir una función así? Y ya hay muchos casos de uso en producción para el Agente de Voz.

El más conocido es el soporte al cliente, pero hay muchos más. Y el en el que estamos trabajando lo llamé manos ocupadas. Porque solo imagina que muchas personas, trabajan no cerca de una computadora. Y a veces sus manos están ocupadas, eso significa que es un conductor o un trabajador de la construcción. Incluso si tienen un teléfono móvil donde podemos instalar una aplicación móvil, no pueden hacer clic en el móvil. Y la voz es la única interfaz para que interactúen con esta aplicación. Por eso realmente me gusta esta frase de Olivia Moore sobre la voz. Así que considera ser una voz, no un producto en sí, sino como una interfaz para tu producto. Así que es como una nueva forma de interactuar con el software. Antes era la IU, a veces la IU móvil. Pero ahora, viene una nueva ola. Será cada vez más.

Así que ahora veamos qué hay dentro del Agente de Voz. Primero, comenzamos con que obviamente el usuario necesita hablar y escuchar alguna respuesta. Pero ¿qué hay en el medio? En el medio, tenemos la primera parte que es el modelo de voz a texto o STT. ¿Y qué hace? Bueno, convierte la voz en texto. Cuando el usuario dice algo, como resultado, obtenemos no una transmisión de audio, sino un texto. Este texto va a los conocidos LLMs, modelo LLM que analiza el texto y también da una respuesta, respuesta en texto. Y el punto final, qué hacer con este texto, lo enviamos a otro modelo, texto a voz o modelo TTS que lo convierte en una transmisión de audio que podemos enviar de vuelta a nuestro usuario. Y para combinar todo esto de manera agradable, necesitamos una especie de orquestación que no solo combine sino que haga algunas características adicionales para nosotros. Y también, si quieres que el Agente de Voz se conecte a alguna línea de comunicación como un teléfono, también necesitamos pensar en el transporte. Así que esas son las partes principales que necesitas considerar al construir un Agente de Voz.

Además, lo que necesitas tener en cuenta es la latencia. Si quieres una conversación en tiempo real, pero no solo mensajes de voz, para que el agente pueda responder, necesitas apuntar a que no sea más de 500 milisegundos. Y eso es todo un desafío, diría yo, porque si miras todos los modelos, primero tienes que hacer voz a texto, luego LLM, luego texto a voz, no olvides también alguna latencia de red y terminas con un número que es significativamente, como, más de dos veces más alto que nuestro objetivo inicial. Así que aquí tendrás que pensar en diferentes tipos de optimizaciones para lograr esto. También algunos conceptos clave más que es mejor conocer al construir Agentes de Voz. En primer lugar, todo va en la transmisión. No quieres que tu modelo de texto a voz comience a generar transmisión de audio mientras LLM está listo con la respuesta. Quieres hacerlo inmediatamente.

Por eso el flujo va desde el canal de transporte, va a texto a voz, luego a LLM, y LLM proporciona el resultado. También, una definición más importante que escucharás mucho en el ámbito de los Agentes de Voz, es la detección de actividad de voz. Esa es una parte súper desafiante, porque solo enviar audio a voz a texto, no resuelve el problema de que a veces no hay texto, a veces es solo un ruido, a veces la persona hace una pausa en el discurso. Así que esta cosa de VAD va incluso antes de voz a texto. Y conectado también a VAD, tenemos la detección de turno semántico.

¿Qué significa eso? Es exactamente para entender el momento en que el usuario detiene la oración, detiene la frase para hacer este turno y dejar que el agente responda. También es importante el manejo de interrupciones. Y para algunos Agentes de Voz antiguos, podrías notar, si tuviste experiencia, que si el Agente de Voz está diciendo la frase, no puedes interrumpir, hasta que la frase esté completa y solo después puedes hablar. Pero no es muy conveniente, eso no es humano.

Y quieres que el agente se detenga automáticamente y responda a tu siguiente frase. Esto también va a la orquestación. Además, hay un término como ejecución especulativa, que a veces comienzas a generar respuesta desde LLM incluso cuando la frase no está completa, pero alguna parte de la frase está ahí y puedes comenzar a generar respuesta. Eso es una optimización para LLM para obtener respuesta más rápido.

Pero eso no es específico para Voice Agent, pero diría que es un concepto súper importante para cualquier agente en general. Ahora pasamos al siguiente bloque, cuando entendemos todas las partes, queremos elegir esas partes para nuestro Voice Agent. Vamos uno por uno. Speech to text. Y en speech to text lo que necesitamos comparar, qué parámetros son importantes para nosotros. Obviamente, latencia, el primero, qué tan rápido es. El segundo, queremos preocuparnos por la calidad, por eso buscaremos el parámetro de tasa de error de palabras. Y a veces los números de marketing y los benchmarks reales son diferentes, significativamente diferentes. Así que por favor ten esto en cuenta.

También obviamente el precio, porque incluso a pequeña escala, el precio es asequible. Necesitas pensar en la escala futura. También los idiomas. Si podemos decir al 100% que el inglés es bueno para todos los modelos, pero otros idiomas podrían no ser tan buenos. Y basado en tu caso de negocio, ten esto en consideración. Y como un ganador definitivo para nosotros por ahora, encontramos el servicio DeepGram y dos modelos de este servicio. También para cada bloque, para cada modelo, he proporcionado aquí un enlace. Así que las diapositivas se compartirán después de la charla y puedes ir a través de este enlace. Y he construido una tabla bastante completa comparando todos los modelos que también puedes verificar qué hay allí.

Hablando de LLM, probablemente ya sabes mucho sobre LLM. La única cosa que necesitas tener en cuenta es que en la mayoría de los casos para los agentes de voz, no es la decisión más inteligente tomar el modelo más avanzado, porque es lento. Es lento y a veces necesitas tomar un modelo comparativamente tonto, pero será rápido. Así que estás equilibrando aquí la velocidad y la inteligencia de las respuestas que necesitas. Ahora vamos a texto a voz. ¿Qué parámetros de texto a voz son importantes para nosotros? Tenemos un parámetro que se llama TTFA o tiempo hasta el primer audio. Eso es algo similar a la latencia, donde convertimos texto a audio y qué tan rápido será el primer flujo de audio. Obviamente también el precio, también los idiomas.

Y aquí también tenemos una opción, voces. ¿Cuántas voces hay? ¿Hay diferentes acentos para diferentes idiomas? Y conectado a este punto, también opciones de clonación de voz. Algunos servicios te proporcionan la posibilidad de clonar la voz. Puedes clonar tu propia voz, tu voz personal si quieres, o alguna voz específica y usarla para tu agente de voz.

Y aquí, por ahora, dos líderes definitivos son 11Labs y el servicio Cartesia. Proporcionan una calidad bastante buena, muchas voces, posibilidad de tener tu propio clon. Así que definitivamente a considerar.

Ahora pasando a la orquestación. Cuando seleccionamos todas las partes, necesitamos ensamblarlas juntas. Y aquí, para la orquestación, ya tenemos varios jugadores bastante serios en el mercado. Uno que estamos usando actualmente, es WAPI o servicio Voice API. Te da la posibilidad de usar todos sus modelos. Todo está integrado. Solo necesitas conectar el número.

También, un fuerte competidor, Retail AI. También, todo desde la caja. Dos más, como Lifekit y Pipecat. Estos, a pesar de que también tienen la posibilidad de alojar en su sitio, es más una solución de hacerlo tú mismo. Aquí, también presenté 11Labs. Es generación de voz, pero también tienen orquestación parcial. Y puedes construir completamente personalizado. Así que, si comparas alguna orquestación de servicio lista, orquestación de servicio gestionado y hacerlo tú mismo, lo que necesitas tener en cuenta.

Obviamente, algún servicio en el que solo necesitas crear una cuenta y puedes comenzar te tomará probablemente minutos y puedes hacer tu primera llamada. Pero aún así, hacerlo tú mismo con la biblioteca y servicios existentes como Lifekit y Pipecat, es... Para mí, lo probé yo mismo, te lleva, bueno, tal vez horas, pero no días o semanas.

Vi en muchas publicaciones de blog, la comparación se hace de tal manera que la solución de hacerlo tú mismo con Pipecat podría llevarte semanas y semanas, como tres semanas, pero en realidad no es el caso para construir el primer prototipo. Además, puedes comparar el costo, y el costo, podemos comparar en dos parámetros. Cuando es bajo volumen, básicamente, pagas mucho por la solución de hacerlo tú mismo y solo pagas por uso para la solución gestionada. Y al contrario, cuando escalas y tienes muchos minutos, el precio escalará rápidamente con la solución gestionada y obtendrás una solución mucho más barata con hacerlo tú mismo.

Hablando de depuración, estás bastante limitado en términos de depuración con la solución gestionada que podrías tener algún panel de control y registros, pero si quieres profundizar, no hay tantas posibilidades. Para la solución de hacerlo tú mismo, puedes volverte loco con la observabilidad, pero aún así tienes que construirlo. Y también, necesitas tener en cuenta que todas esas soluciones intentan gestionar soluciones, soluciones listas para usar, intentan mantenerte dentro, te proporcionan algunas características específicas que dentro de estas características, será difícil para ti migrar y hacerlo tú mismo. También podemos comparar el costo en números exactos.

Y si haces una estimación aproximada, todavía parece que no es mucho, como 10 centavos, 10 centavos por minuto, comparado con 1 o 2 centavos por minuto. Pero si intentas evaluar con números reales, como, supongamos que tienes alguna startup promedio con 20,000 usuarios activos, quieres llamarlos cada día, quieres que tu agente de voz hable con ellos, cada día con una llamada promedio de 5 minutos, terminas con 3 millones de minutos y eso significa 300k para la solución gestionada y solo 36k para la autoalojada. Obviamente, pagarás por soporte, pagarás por infraestructura, pero es solo para que entiendas la escala.

También encontré en internet, también encontré una buena calculadora, también puse el enlace, puedes jugar con ella con más parámetros y tu caso de negocio específico. Hablando de telefonía, qué proveedor conectar, encontré dos bastante maduros, esos son Telnyx, que es europeo, si piensas en la ley de datos GDPR, probablemente sea bueno para ir, están basados en Francia. Y también tienes Trilio, ambos bastante confiables, puedes tener una gama de números allí, y también Retail, también es orquestación, pero se asocian con telefonía, por lo que podrías tener telefonía incorporada.

Ahora, hablando de construir, construir y código real, quería comparar, no quiero profundizar demasiado, considero firmemente tener una masterclass separada en construir un agente de voz desde cero, usando diferentes bibliotecas, comparándolas, pero por ahora quiero centrarme solo en dos y mostrarte que no hay nada complejo aquí. Tomé un ejemplo, Vapi, que es un servicio listo que puedes simplemente registrar, y después puedes usar el SDK, y proporcionando un conjunto de parámetros puedes hacer tu primera llamada. Así que aquí tenemos unas 20 líneas de código y ya puedes hacer tu llamada. Puedes hacer tu llamada a través de la interfaz, obviamente, pero desde el punto de vista del desarrollo todavía tienes que escribir algo de código.

Y aquí, a partir de los parámetros, vemos el número que usas, dónde quieres llamar, y descripción de las partes que acabamos de discutir. Para LLM seleccionamos el modelo, y especificamos el prompt, lo que debería hacer. Para texto a voz seleccionamos la voz, y uso un ID de voz específico de Cartesian. Y voz a texto, servicio DeepGram con modelo NOVA2. Y eso es todo. Quizás algunos parámetros más, pero tan simple como es. Podemos compararlo con Pipecat. Pipecat es una biblioteca de hazlo tú mismo, y normalmente tienes que configurar mucho más aquí. Pero vamos a ver el ejemplo.

Simplifiqué un poco el código, pero quería resaltar los conceptos principales aquí. Necesitas tu transporte, necesitas configurar tus modelos como voz a texto, texto a voz, y LLM con esos servicios. Tendrás que registrarte en esos servicios por separado, comparado con WAPI. Luego proporcionas tu contexto a LLM, y creas el pipeline de Pipecat. Pipecat trabaja con pipelines y tareas. Y en el pipeline establecemos, bien, esos serán los inputs, luego lo ponemos en voz a texto, luego proporcionamos toda la información del usuario, y lo combinamos en LLM. Luego tenemos una respuesta, la respuesta la convertimos de nuevo a voz, la enviamos de vuelta al transporte, y guardamos de nuevo en el Asistente lo que fue.

Donde creamos nuestro pipeline, basado en el pipeline podemos crear una tarea y ejecutar esta tarea. Eso es todo, de nuevo, lo que necesitas para tener una llamada en un vecino específico con tu agente de voz. Es bastante simple. Preparé para ti todo el repositorio con ejemplos donde puedes revisar el código de diferentes herramientas, diferentes modelos, y puedes jugar tú mismo. También se proporciona tu enlace. Una cosa más que quería compartir, algunos hallazgos cuando comenzamos a construir el Agente de Voz con la función de Producción de Unreal. En primer lugar, lo que ya mencioné, todo fue perfecto cuando comenzamos a probarlo con inglés. Pero nuestra audiencia es holandesa, personas holandesas, y aquí enfrentamos algunos desafíos. Y eso es algo que necesitas considerar. ¿Qué idiomas necesitas usar para tu sistema?

Y no pienses que si funciona para inglés, funcionará bien para todos los demás. Porque tendrás que ajustar tu voz a texto, tendrás que ajustar el texto a voz y a veces no tendrás ya optimizado para este idioma específico. Así que tal vez haya una idea de ir con un conjunto limitado, asegurarte de que tu idea funcione y luego extender esos idiomas, buscas modelos específicos para el idioma. También para infraestructura. Para infraestructura, bueno, lo primero que noté, incluso a pesar de que usamos el servicio WAPI, servicio listo, no tiene el concepto de entornos.

Así que para tener diferentes entornos como staging, producción y entorno de desarrollo, tuvimos que crear diferentes cuentas. Bueno, eso probablemente está bien. Después tuvimos que pensar en todas las pruebas que necesitamos. Y no se trata solo de pruebas unitarias. Quieres probar tus prompts para LLM por separado. Quieres probar el audio por separado. Quieres asegurarte de que tu transporte funcione. Y también hay una posibilidad interesante de probar tu agente de voz con otro agente de voz.

Y una cosa más para la infraestructura que, desafortunadamente, la infraestructura, el código para el agente de voz es bastante verde, diría yo. Intenté configurarlo con WAPI y creé algunos scripts de utilidad yo mismo usando la API de WAPI. Pero el problema aquí es que te proporcionan límites bastante estrictos. Así que cuando intenté desplegar cinco agentes, ya alcancé el límite de la API de WAPI. Eso no fue muy conveniente. También algunos trucos que consideramos.

Tienes dos situaciones diferentes. Tienes interacción de usuario en tiempo real y también tienes procesamiento en segundo plano. Y para la interacción de usuario real, es bueno usar un modelo súper rápido. Sí, confiable, pero súper rápido. Pero después de que la conversación haya terminado, solo para asegurarte de que no haya muchos errores o si necesitas generar algún tipo de informe.