Desafíos de Pruebas y Monitoreo de Aplicaciones WebRTC

Hola, soy Tzachi Levent Levi, CPO en Spearline. Quiero hablarles sobre los desafíos de probar y monitorear aplicaciones WebRTC.

Ahora, si queremos hablar de eso, necesitamos comenzar con la pregunta, ¿qué es exactamente WebRTC, especialmente en este tipo de conferencia donde hablamos sobre probar y testing de Javascript en entornos web. Y para mí, WebRTC, esto es lo que usualmente usaría como definición. WebRTC es una especificación HTML5 que se utiliza para agregar comunicaciones de medios en tiempo real directamente entre navegadores y dispositivos.

Bueno, si voy a comunicarme con alguien a través de Internet, dentro de la web o dentro del navegador web, voy a usar WebRTC para enviar y recibir medios en tiempo real. Para eso es WebRTC. Es un conjunto de APIs basadas en estándares, que están disponibles en todos y cada uno de los navegadores existentes hoy en día.

¿Cómo se realizan exactamente las llamadas con WebRTC? Tenemos a dos personas aquí. Uno está usando un navegador, y el otro incluso puede usar una aplicación móvil o un navegador móvil. Hay un sitio web de la aplicación que utilizan para comunicarse entre sí. El chico de la izquierda aquí va a enviar un mensaje al servidor de la aplicación. Y va a decir, ¿sabes qué? Quiero invitar a esa persona a hablar. Aquí está mi oferta. El servidor va a mirar el mensaje. Él sabe dónde encontrar a Brownhead a la derecha. Y va a reenviar ese mensaje a él. En el camino, puede hacer cambios a este mensaje si lo desea.

Ahora el chico de la derecha aquí, Brownhead, recibió ese mensaje. Él sabe que alguien lo está invitando a una llamada. También sabe que este es el pelirrojo de la izquierda. Y sabe lo que esa persona quiere hacer y qué tipo de códecs, por ejemplo, usar en la llamada. El códec es lo que usamos para comprimir, codificar y decodificar audio y video a través de la red. Así que va a aceptar la llamada enviando una respuesta. Esta respuesta, nuevamente, pasará por el servidor hacia el otro navegador. App-Lint-In-Low, todo esto, no está realmente relacionado con WebRTC. Y es solo cómo suceden las cosas en la web. La magia de WebRTC viene después. Y aquí es donde se envían medios en tiempo real reales directamente de un usuario a otro, y viceversa, de manera interactiva en tiempo real. Ahora pueden comunicarse directamente entre sí simplemente ejecutando estos pocos mensajes antes de comenzar la sesión de WebRTC.

Esta es la única vez y la única instancia en que un navegador puede enviar un mensaje directamente a otro navegador sin pasar por un servidor. Ahora, WebRTC se encuentra en algún lugar entre VoIP, voz sobre IP, y la web, Internet tal como lo conocemos hoy en día, las páginas web. Y eso causa muchos problemas. Eso se debe a que aquí tenemos dos disciplinas diferentes que compiten entre sí. Y plantea la pregunta para personas como nosotros que nos ocupamos de testing. Y esa es, ¿exactamente qué probamos y monitoreamos? ¿Vamos a utilizar herramientas para testing y monitoreo de VoIP o vamos a utilizar herramientas web para eso? Y la respuesta es ambas, y depende o es complicado. Así que veamos cuáles son los desafíos con los que debemos lidiar.

Y comenzamos por comprender quiénes son los actores principales y entender que están fuera de nuestro control como desarrolladores o probadores. En primer lugar, tenemos la aplicación. La hemos escrito. Sabemos todo sobre ella. Tenemos el control de esa aplicación y de cada línea de código en ella.

Luego están los usuarios. Los usuarios utilizan sus propios dispositivos y periféricos. Por ejemplo, para hacer esta sesión, estoy usando un micrófono Rode, que no es el micrófono incorporado en mi máquina porque es mejor para estas cosas. Y tengo auriculares porque los necesito para comunicarme con ustedes.

Luego está la red. No controlas la red, no la posees, no sabes dónde está el usuario. En mi casa, porque lo hago todo el tiempo, estoy conectado directamente a Ethernet con fibra hasta la casa, así que sé que tengo una red muy buena. Las personas pueden hacer estas llamadas o intentar hacerlas desde un ascensor, un sótano o mientras viajan en el automóvil. Y eso afectará lo que vamos a hacer.

Por último, pero no menos importante, están los navegadores. Todos ustedes ya están acostumbrados al hecho de que los navegadores están fuera de nuestro control. Pero para las personas que hacen voz sobre IP, esto es nuevo. Es diferente. Y necesitan lidiar con eso. Veamos cómo vamos a enfrentar cada uno de estos desafíos.

Y comenzaremos con los navegadores. Como saben, los navegadores se actualizan con bastante frecuencia, la mayoría de ellos cada mes. En ese ritmo, vamos a obtener una nueva versión de Firefox, Edge y Chrome. Safari se actualiza una vez cada uno a tres meses. Como desarrollador, no puedes ir a Google y decirles: mira, tengo este error que necesito resolver, que sé que vas a introducir en la próxima versión de Chrome. ¿Puedes retrasar esa versión hasta que solucione ese error? No va a suceder. Simplemente lanzarán una nueva versión de Chrome al mercado y eso será el final.

Ahora, el problema con eso es que con WebRTC específicamente, cada versión del navegador es ligeramente diferente. Todavía están trabajando en la implementación de WebRTC y en cómo funciona a través de la red. Eso significa que probablemente romperá tu aplicación una o dos veces al año, especialmente si estás utilizando muchas funciones diferentes de WebRTC o llevándolo al límite, a las capacidades extremas de WebRTC en los navegadores.

Lo primero que debemos hacer es decidir o acordar que necesitamos realizar automatización del navegador en términos de pruebas. ¿Por qué? Porque queremos poder repetir las pruebas todo el tiempo y con mucha frecuencia. Para hacer eso, vamos a utilizar Selenium o Puppeteer, que nos permiten probar, simular y automatizar los escenarios que tenemos utilizando navegadores reales.

En voz sobre IP, por ejemplo, la mayoría de las pruebas se realizan utilizando herramientas de pruebas que están diseñadas específicamente y son de naturaleza propietaria. La mayoría de las herramientas de pruebas disponibles en WebRTC son herramientas que en realidad se ejecutan sobre automatización del navegador como Selenium y Puppeteer.

Luego debemos hablar sobre las redes y las redes son complicadas. Esto es cierto para todo lo que se ejecuta en la Web, pero WebRTC es diferente porque las cosas suceden en tiempo real. Si envío medios, espero que se reciban en el otro lado con una latencia de menos de un segundo. Lo envío. Quiero que esté allí en el otro lado en 100 milisegundos, 200 milisegundos, como máximo 500 milisegundos. De lo contrario, no puede ser interactivo.

Hacerlo con una latencia tan baja y con tasas de bits altas, especialmente si es video, significa que hay cosas que me afectarán que no afectan tanto a las páginas web. Eso será el ancho de banda, la pérdida de paquetes y el jitter. Necesito entender cuánto ancho de banda tengo disponible y luego jugar con la tasa de bits que los códecs utilizan para codificar y enviar los medios para cumplir con estas limitaciones que tienen. Necesito poder lidiar con las pérdidas de paquetes que ocurren en la red.

Si envío la página web a alguien desde un servidor y él pierde algunos de los paquetes de esa página web, no es gran cosa porque de todos modos hay una retransmisión que está teniendo lugar. Es posible que obtenga la página web 200 milisegundos más tarde. Pero si estoy tratando de hablar realmente con alguien y hay pérdida de paquetes, ni siquiera puedo retransmitir. No hay tiempo suficiente para eso. Entonces, cómo lidiar con la pérdida de paquetes es muy diferente con WebRTC. Y luego está el jitter, la velocidad a la que llegan los paquetes en comparación con cómo se envían a través de la red. Cuanto más jitter haya, más difícil será reproducirlo en el otro extremo. Ahora, todas estas cosas que necesitamos manejar en la red deben tener en cuenta otros aspectos. El primero es la geografía. Si tengo dos personas en la llamada, una de ellas está en París y la otra está en Estados Unidos, sería prudente que el servidor que los conecta esté en algún lugar intermedio y no en India. Si comenzamos a jugar con la geografía, necesitamos entender dónde están nuestros usuarios y necesitamos probar dónde están nuestros usuarios.

Luego está la parte del último tramo y ya he aludido a eso brevemente en el pasado. Si el usuario está lejos del punto de acceso, habrá una reducción en la tasa de bits, un aumento en la pérdida de paquetes y en la latencia, y la calidad se degradará. Necesitamos probar eso y ver qué sucede allí.

Si el último tramo es ADSL o una red celular 3G o una red LTE, o simplemente Wi-Fi, tiene características diferentes y necesitamos entender cómo funciona nuestra aplicación allí. ¿Por qué? Porque a veces necesitamos un ancho de banda alto en llamadas de grupo grandes, por ejemplo, y necesitamos ver qué sucede si no tenemos suficiente ancho de banda en la red. ¿Cómo se comportará nuestra aplicación en estos casos, cómo degradará la apariencia real para los usuarios? ¿Eliminará a algunas personas de la vista? ¿O reducirá la tasa de bits para todos y disminuirá la calidad para todos de la misma manera? Estas son cosas que necesitamos poder probar.

Por último, pero no menos importante, todos estos cambios son de naturaleza dinámica. Puede que tenga un ancho de banda alto ahora y bajo cinco minutos después de la sesión que estoy haciendo usando WebRTC. ¿Por qué? Porque mi hijo decidió que quiere jugar Fortnite al mismo tiempo que hago esta llamada y no tengo suficiente tasa de bits en la red. O porque alguien más está usando un entorno compartido, en una red compartida, ya sea local o remotamente. Entonces, ¿qué debemos hacer con todas estas cosas? Simplemente necesitamos tenerlas en cuenta. Y eso significa que en nuestras pruebas de aplicaciones WebRTC, necesitamos pensar en ellas tanto a nivel global como local al mismo tiempo. Necesitamos realizar pruebas en múltiples regiones y ubicaciones, no solo en múltiples llamadas. Así que quiero que las llamadas estén en los EE. UU. ahora y ahora las quiero en Europa y ahora las quiero en India. No, quiero hacer una llamada grupal con dos personas que se unen desde los EE. UU., dos desde Europa y una desde India. Y ver qué sucede ahora con una llamada grupal tan grande.

Lo otro es que queremos tener control sobre el dispositivo que se está probando para su comportamiento en la red local. Quiero poder limitarlo por tasa de bits. Quiero poder inyectar pérdida de paquetes o jitter en ese dispositivo, en el momento de las pruebas. OK, y quiero hacerlo de forma dinámica. Por ejemplo, decir cosas como: comencemos sin límites, esperemos dos minutos. Ahora vamos a reducir la tasa de bits a 100 kilobits por segundo, veamos qué sucede durante dos minutos. Luego volveré a quitar el límite y verificaré cuánto tiempo le llevará al servicio volver a aumentar a la tasa de bits más alta que pueda alcanzar en la red. ¿Tomará cinco segundos, 30 segundos, un minuto o nunca? OK, algunos de ellos son errores como nunca y algunos de ellos se pueden optimizar aún más y queremos tener las herramientas y los medios para poder ejecutar tales pruebas de manera inteligente.

Luego está el usuario y sus dispositivos, y los dispositivos son diferentes. Hay diferentes sistemas operativos, diferentes CPUs, diferentes aceleraciones de hardware que necesitamos para la codificación y decodificación video. OK, eso reduce la carga de la CPU, por ejemplo, diferentes cámaras, micrófono y resoluciones de pantalla. La llamada será muy diferente si lo hago en mi escritorio aquí en la mesa o si lo hago desde mi teléfono. Es simplemente una CPU diferente. La resolución de la pantalla es diferente, la resolución de la cámara es diferente. Todas estas cosas van a afectar el tipo de prueba que voy a hacer y hay varias cosas que debes entender y planificar. La primera, necesitamos gestionar la automatización de dispositivos.

Necesitamos tener máquinas virtuales que se ejecuten con Selenium, por ejemplo, y deben ser configurables con la cantidad de núcleos que tenemos en ellas, la cantidad de memoria que tenemos disponible. También queremos poder simular datos de cámara y micrófono en bruto como parte de ello. Bueno, piénsalo. Si voy a usar una máquina, incluso un dispositivo móvil que se ejecuta en algún centro de datos, y lo que voy a ver en la cámara es una imagen estática todo el tiempo, el codificador no va a funcionar mucho y no voy a obtener la experiencia real que es cuando alguien está hablando con una cámara frente a él. Bueno, por lo tanto, es importante lidiar con estos casos de uso y poder inyectar datos de cámara y micrófono en brutodata en una prueba real.

Y luego está todo el hecho de que estamos conectando personas. No estoy conectando a una persona a un sitio web y necesita pasar por una fase de inicio de sesión y luego ir al sitio de comercio electrónico, elegir dos o tres artículos y luego completar un formulario y hacer clic en el botón de compra en el carrito de compra, ¿de acuerdo? Lo que acabo de describir es algo que un solo usuario está utilizando frente a un servidor. Pero piénsalo, si estás haciendo algo con WebRTC, va a ser interactivo, va a haber una llamada en curso. Yo soy el profesor, creo la lección, me uno. Después de unirme, los estudiantes se unirán a la sala no antes. Si alguien silencia, quiero ver qué les sucede a los demás cuando lo hacen. Así que es como si se necesitaran dos para bailar el tango, necesito poder sincronizar entre diferentes navegadores que se ejecutan en la misma prueba dentro de la misma sesión, porque necesita ser orquestado. Necesito entender exactamente qué navegador hace qué cosa en qué momento, y un navegador necesita esperar a otro para interactuar y hacer las cosas que necesita hacer. Y eso significa que necesitas construir mecanismos de sincronización en las herramientas de automatización que vas a usar para probar WebRTC. Comienza haciendo la pregunta de quién se une cuándo y poder responder eso. La respuesta generalmente será vamos a usar mensajes fuera de banda. Así que necesito poder enviar mensajes entre los navegadores que no forman parte del tiempo de prueba de la aplicación. Diciendo algo como, navegador número dos, por favor espera. Y luego, una vez que el navegador uno termina y completa algo, puede enviar un mensaje diciendo, bueno, he terminado para que el navegador dos pueda comenzar su parte del proceso allí. De acuerdo, por lo tanto, este paso de mensajes fuera de banda es realmente importante. Luego necesitas poder generar y orquestar estas pruebas a escala. No es un navegador o dos navegadores a la vez, generalmente son 10, 20, 50, 100 o miles de navegadores que se ejecutan en paralelo. Y

Y además de eso, debes agregar expectativas y afirmaciones, no solo voy a verificar que la página web llegó a la página que quería, necesito validar que haya video, necesito validar que la pérdida de paquetes sea baja, que la velocidad de bits esté en un umbral específico que necesito. Por lo tanto, todas estas afirmaciones deben agregarse, que no forman parte de las pruebas web tradicionales, deben analizar las métricas de WebRTC y desde allí comprender y deducir si la prueba tuvo éxito o falló. Ahora, algo de lo que no se habla mucho y esto es el elefante en la habitación cuando se trata de las pruebas de WebRTC, eso será la previsibilidad. Si estoy ejecutando una prueba, quiero poder ejecutar la prueba nuevamente mañana y obtener los mismos resultados, ¿de acuerdo? Piénsalo, estás haciendo una prueba manual de una llamada grupal, necesitas que 10 personas se unan a la sala. ¿Cómo vas a hacer que 10 máquinas se unan a una sala a través de navegadores? ¿Vas a pedirle a las personas de tu empresa que se unan? ¿Qué es exactamente esa prueba? ¿Su conexión de red o tu aplicación? ¿Qué vas a hacer con los falsos positivos? ¿Qué sucede si intentas ejecutarlo mañana y una de las personas no está disponible o está en una red diferente? No obtendrás los mismos resultados. Por lo tanto, debes tener eso en cuenta y tenerlo en cuenta. Debes poder construir esa previsibilidad en tu propia aplicación o en tus propias herramientas de prueba para que una vez que el equipo de control de calidad ejecute una prueba, el departamento de investigación y desarrollo pueda ejecutarla nuevamente para obtener los mismos resultados y el equipo de control de calidad pueda ejecutarla nuevamente para validar que se haya solucionado el problema.

La otra cosa es la visibilidad. Quieres poder ver realmente los resultados y entenderlos. No puedes simplemente tomar capturas de pantalla y decir, bueno, sabes que se ve bien el video. No funciona así, necesitas entender lo que sucede en el protocolo subyacente de WebRTC en sí mismo y eso significa que primero que nada necesitas hacer, necesitas hacer que tu prueba sea repetible. Tu prueba repetible, de acuerdo, por lo tanto, si la ejecutas varias veces, obtienes los mismos resultados y necesitas recopilar y visualizar todo. Si estamos acostumbrados a hacer cosas como el rendimiento de la máquina y eventos del navegador y registros de la consola, WebRTC significa que también necesitamos recopilar llamadas de API de WebRTC y llamadas getStat. GetStat es una llamada de API en WebRTC que te brinda estadísticas métricas internas del objeto de conexión de pares actual, que es una conexión que es el objeto que se utiliza en WebRTC. Necesitas poder recopilar todo esto y luego analizarlo y visualizarlo correctamente. Ahora puedes hacer esto por tu cuenta, hay herramientas de código abierto para hacerlo o puedes venir y te invito a hacerlo, venir a Spirline y ver TestRTC. Tenemos productos que hacen pruebas y monitoreo para aplicaciones basadas en WebRTC y eso puede acelerar el trabajo que necesitas hacer. Así que gracias y nos vemos de nuevo.