Sin Dependencias, No Hay Problema: Transmitiendo IA por Teléfono

Hola a todos. Soy Marius. Trabajo en el equipo de relaciones con desarrolladores en Twilio, y eso significa que hablo con muchos desarrolladores que usan nuestras APIs, como la API de mensajería de texto o la API de voz. Y una cosa que muchos desarrolladores han querido construir recientemente es un agente de IA que pueda hacer una llamada telefónica o recibir una llamada telefónica. Permítanme mostrarles cómo suele ir esta historia desde la perspectiva de un desarrollador. Tienes todos los grandes modelos que quieres combinar, uno para reconocimiento automático de voz, uno para detección de interrupciones y el modelo de texto a voz. Los combinas todos juntos y, en teoría, funciona bien, pero luego rápidamente se dan cuenta de la latencia.

La latencia es simplemente que dices algo, esperas, no pasa nada, y luego dices algo de nuevo, y luego el modelo comienza a hablar, y eso arruina toda la experiencia. Así que necesitan encontrar una manera de solucionar esto. Algo que proporcionamos en Twilio es que básicamente puedes desplazar mucha responsabilidad a nuestra infraestructura, como el reconocimiento automático de voz, texto a voz, y trabajamos con proveedores de primera clase, como 11 Labs o Google Cloud, para proporcionar estos servicios, y solo necesitas centrarte en la configuración.

Y lo que realmente necesitas hacer al final es alojar un servidor WebSockets que reciba texto, y luego puedes procesarlo con tus propios LLMs. Puedes enviarlo a un LLM que se ejecute cerca de tu máquina con baja latencia, y simplemente transmites texto de vuelta. Y, de hecho, puedes construir un agente en tres minutos. Hagámoslo juntos. Así que uso BUN para alojar un servidor web simple. Puedes simplemente, por diversión de usar un nuevo stack de vez en cuando, lo expongo en el puerto 5050, y luego tengo esta función fetch que lo único que hace es actualizar HTTP a WebSocket, y luego adjunto un objeto de datos, para que pueda reconocer el mismo flujo nuevamente.

Tendría sentido usar el número de teléfono aquí, pero solo usaría una marca de tiempo, porque yo sería el único que llamaría de todos modos. Y luego, en la configuración de WebSocket, solo tengo un callback cuando el socket está abierto. Cuando está cerrado, vamos a formatearlo un poco. Y luego la parte interesante sucede aquí, cuando llega un mensaje. Paso la carga útil JSON, y luego cuando el mensaje es del tipo prompt, que será mayormente así. De todos modos, registro esto en la consola, y por ahora, tengamos una respuesta codificada que diga que es una gran pregunta. Y luego lo registro en la consola, y simplemente lo transmito de vuelta. Y lo que también hago es registrar los otros tipos para que los veas, pero no tenemos que preocuparnos por ellos por ahora.

Bien, vamos a ejecutarlo. Ejecuto mi servidor. Expongo este puerto a internet, y si voy aquí a mi configuración, ves que cada vez que una llamada llega a un número de teléfono, se conecta a mi servidor WebSocket. Esto es lo que uso 11 Labs para texto a voz. Esta idea particular de la voz, y esta es la frase inicial. Vamos a llamarlo, y esperemos que funcione. ¿Está el audio? Déjame comprobar. Esa es una gran pregunta. Oye, ¿cuál es la capital de Francia? Esa es una gran pregunta. Ves, siempre obtengo la misma respuesta de vuelta. ¿Por qué? Porque no hago nada aquí. Solo digo que devuelva una respuesta estática, pero viste qué tan rápida fue la latencia. Entonces, si miro los registros, ves que el texto a voz, y voz a texto sucedieron instantáneamente. Ahora, vamos a involucrar algo de IA aquí, y si profundizo en eso, eso se importa automáticamente.

Ves, ¿qué hago aquí? Bueno, tengo una declaración if para ver si ya conozco este ID de conversación. Si no lo conozco, solo uso el GPT4 o mini model. Agrego un prompt del sistema, y el prompt del usuario. Agrego una herramienta de búsqueda web, y me aseguro de almacenar el historial en el lado del servidor en OpenAI, y luego si la respuesta regresa, la guardo. Así que, cuando hago otra pregunta la próxima vez, la declaración if se activa aquí, y luego puedo referirme a la conversación anterior, así que no tengo que llevar ese array de mensajes todo el tiempo. Solo tengo que agregar el prompt más reciente. Intentémoslo de nuevo. Reinicio el servidor.

Llámalo de nuevo. Hola, estás conectado al asistente de voz AI impulsado por Twilio Conversation Relay. ¿Cuál es la capital de Francia? La capital de Francia es París. ¿Y la de Alemania? La capital de Alemania es Berlín. Berlín. ¿Quién ganó la UEFA Nations League el fin de semana pasado? Portugal ganó la final de la UEFA Nations League contra España el 8 de junio de 2025 en Múnich. El partido terminó 2-2 después de tiempo extra, y Portugal aseguró una victoria de 5-3 en la tanda de penales. Así que tienes la idea, ¿verdad?

Y aquí estaba registrando el tiempo de respuesta de OpenAI en la consola. Podrías notar cuando tenía que hacer una búsqueda web. Tomó un poco más de tiempo. Cosas que podrías hacer, podrías decir, oh, podrías agregar un mensaje como, oh, déjame pensar sobre ello. Y luego activaste una solicitud, así que hay formas de solucionarlo para que parezca más rápido. Pero ya puedes notar básicamente que la latencia de voz a texto y de texto a voz fue básicamente cero, diría yo.

Y luego solo tenías la del LLM, que probablemente tampoco sea la mejor en esta red en mi MacBook local. Pero esa es mi demostración y whoop, así de fácil, los problemas de latencia desaparecieron. Gracias. Soy Marius. Si tienes preguntas sobre esto u otros casos de uso de AI con voz, nuestro stand está allá arriba. Puedes encontrarme en el próximo descanso. Gracias.